Node.js 中流式处理大文件时内存暴涨的排查与解决
最近在维护一个日志分析服务时,遇到一个很典型的问题:用 Node.js 读取几百 MB 的日志文件做逐行解析,进程内存一路飙升到 2GB 以上,最终触发 OOM 被杀掉。这个场景在数据处理、文件上传、CSV 导出等业务里很常见。表面上看代码用了 fs.createReadStream,以为流会自动控制内存,但实际上错误的使用方式会让流退化成一次性缓冲。本文从一次真实的排查过程出发,分析 readline 与可写流背压配合不当导致的内存问题,并给出基于 pipeline 和异步迭代器的修正写法,同时讨论如何用...