首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://cloud.tencent.com/developer/article/2783249

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Node.js 中 stream 背压处理不当导致的内存暴涨与实战修复

在 Node.js 里用 stream 做文件读写、日志转发或者代理下载时,很容易遇到进程内存一路涨到几个 G 甚至触发 OOM 的情况。问题通常不是流本身有泄漏,而是上游生产速度和下游消费速度不匹配,同时又没有正确处理 write() 返回的 false 和 drain 事件,导致数据在内部缓冲队列里越堆越多。这篇文章从一个真实的日志转发服务出发,分析可写流背压信号被忽略时内存为什么会持续增长,结合 Readable、Writable 和 pipeline 的行为差异,给出在自定义 Transform 和...

在 Node.js 中处理大文件上传:流式写入与临时文件清理的实践

最近在做一个内部工具,需要让用户上传几百兆甚至上 G 的日志文件做分析。一开始直接用 Express 的 multer 默认配置,结果内存涨得很快,并发几个上传就 OOM 了。排查后发现 multer 默认把文件放在内存里,超过阈值才落盘,但阈值设置不当或者没限制文件大小时,整个文件会先读进内存。另一个常见场景是上传中断后留下大量临时文件,磁盘慢慢被占满。这篇文章围绕 Node.js 里处理大文件上传的两个实际问题展开:如何用流式方式把请求体直接写入磁盘而不撑爆内存,以及如何可靠地清理上传过程中产生的临时文...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册