在 Node.js 中处理大文件上传:流式解析 multipart 并避免内存暴涨
线上有个后台服务需要接收用户上传的 CSV 文件做批量导入,单个文件从几十 MB 到一两 GB 不等。一开始用的是 multer 默认配置,结果在几个大文件并发上传时进程内存直接飙到 1.5 GB 以上,偶尔触发 OOM 重启。排查后发现 multer 默认会把整个文件先落到磁盘,但配合 express 的 body 解析和部分中间件后仍有缓冲区堆积;更隐蔽的问题是后续用 fs.readFile 把整个文件读进内存再逐行解析,这一步才是真正的内存杀手。这篇文章从实际踩坑出发,讲清楚 multipart/fo...