每日一博 | 如何处理大体积 XLSX/CSV/TXT 文件?
在开发过程中,可能会遇到这样的需求,我们需要从本地的 Excel 或 CSV 等文件中解析出信息,这些信息可能是考勤打卡记录,可能是日历信息,也可能是近期账单流水。但是它们共同的特点是数据多且繁杂,人工录入的工作量庞大容易出错,需要花费大量时间。那有没有什么方法能自动解析文件并获取有用信息呢? 当这个文件数据量也不是很多的时候,有很多前端工具可供选择。例如SheetJS,就提供了从Excel、CSV中解析出用信息的很多方法,十分方便。 当数据量只是几千条的程度的,选择的余地很多,但是一旦数据量级增加,处理就变得复杂。如果XLSX/CSV数据量达到了 100w+ 条,Office、WPS 想打开看一下,都会需要很长的时间。 那又该如何从这样大体积的Excel/CSV/TXT 中解析出数据呢? 背景 下面我们通过一个假设的需求,来讲述理解整个过程。假设我们需求是从本地 Excel、CSV、TXT(或者其他格式的)文件中解析出数据,并经过清洗后存入本地数据库文件中。但是这些文件体积可能是 5M、50M、500M 甚至更大。那么在浏览器环境下如何上传?Node 环境下应该如何解析? 首先,我们...

