首页 文章 精选 留言 我的

文章列表

共 237826 篇
Node.js 中 stream.pipeline 的背压处理与错误恢复实战

Node.js 中 stream.pipeline 的背压处理与错误恢复实战

在 Node.js 里处理大文件上传、日志转储或数据库导出时,经常会把可读流直接 pipe 到可写流。但 pipe 本身不会在目标流报错时销毁上游流,也不会自动清理中间产生的临时资源,导致文件句柄泄漏、内存堆积甚至进程挂起。更麻烦的是,当写入速度跟不上读取速度时,背压信号如果被忽略,可读流会继续把数据推入内部缓冲区,最终触发内存告警。stream.pipel...

Node.js 中 JSON.parse 导致内存泄漏的真实案例与排查过程

Node.js 中 JSON.parse 导致内存泄漏的真实案例与排查过程

线上一个日志上报服务每隔两天就因 OOM 被系统杀掉,重启后内存曲线缓慢爬升,直到触及容器 2GB 限制。用 --inspect 连上去看堆快照,发现大量 Buffer 和长字符串对象没有被回收,引用链最终指向一个缓存模块。这个模块用 Map 缓存解析后的 JSON 对象,key 是请求体字符串。请求体平均 80KB,QPS 并不高,但缓存没有上限也没有过期...

Node.js 中 fs.watch 与 fs.watchFile 的差异与生产环境陷阱

Node.js 中 fs.watch 与 fs.watchFile 的差异与生产环境陷阱

在 Node.js 里做文件监听,很多人第一次搜到的 API 就是 fs.watch 和 fs.watchFile,但这两个接口的行为差异远比文档里写的“一个基于操作系统事件,一个基于轮询”要复杂。实际开发中常见场景包括本地开发服务器自动重启、构建工具增量编译、配置热加载、日志文件采集等。问题往往出现在跨平台表现不一致、重复触发、事件...

Node.js 中处理大文件上传:流式写入与背压控制的实际问题

Node.js 中处理大文件上传:流式写入与背压控制的实际问题

做后台管理系统的文件上传功能时,一个很常见的坑是:前端直接把几百 MB 的视频或压缩包 POST 上来,Node.js 服务端用 fs.writeFile 或者 formidable 默认配置接收,结果进程内存一路飙升,几个并发请求就把容器打爆。问题的根源在于请求体本身是流,但很多写法会先把它完整缓冲到内存里再落盘,中间没有任何背压控制。更隐蔽的情况是用了流...

Node.js 中处理大文件上传时,为什么你的内存总是爆掉?

Node.js 中处理大文件上传时,为什么你的内存总是爆掉?

在 Node.js 里实现文件上传功能,如果直接把请求体整个读进内存再写入磁盘,遇到几百兆甚至几个 G 的文件时进程很容易被 OOM Killer 干掉或者触发 JavaScript heap out of memory。这个问题在后台管理系统、文件服务、数据导入等场景中非常常见,根本原因在于 Node.js 的 Buffer 默认受 V8 堆内存限制,而 ...

Node.js 中流式处理大文件时内存暴涨的排查与解决

Node.js 中流式处理大文件时内存暴涨的排查与解决

最近在维护一个日志分析服务时,遇到一个很典型的问题:用 Node.js 读取几百 MB 的日志文件做逐行解析,进程内存一路飙升到 2GB 以上,最终触发 OOM 被杀掉。这个场景在数据处理、文件上传、CSV 导出等业务里很常见。表面上看代码用了 fs.createReadStream,以为流会自动控制内存,但实际上错误的使用方式会让流退化成一次性缓冲。本文从...

Node.js 中处理 CPU 密集型任务的实用方案:从阻塞事件循环到 worker_threads

Node.js 中处理 CPU 密集型任务的实用方案:从阻塞事件循环到 worker_threads

在 Node.js 服务里做图片压缩、PDF 解析或者大 JSON 序列化时,经常遇到接口响应突然变慢、健康检查超时、甚至整个进程卡住的情况。排查下来往往不是数据库慢,而是某段同步计算把事件循环堵死了。Node.js 主线程既要处理网络 I/O 又要跑 JavaScript,一旦遇到长时间同步运算,所有回调都得排队,表现就是并发能力骤降。这篇文章从实际代码出...

Node.js 中 stream 背压处理:从 pipeline 到手动控制

Node.js 中 stream 背压处理:从 pipeline 到手动控制

在 Node.js 里处理大文件上传、日志转发或数据库导出时,我们经常会把可读流直接 pipe 到可写流。表面上看数据在流动,但写入速度跟不上读取速度时,可写流的内部缓冲区会不断膨胀,内存占用一路升高,最终触发 MaxListenersExceededWarning 或者干脆 OOM。这类问题的根源在于没有正确处理背压(backpressure)。Node....

React 中 useEffect 依赖数组的陷阱:为什么你的清理函数没有按预期执行

React 中 useEffect 依赖数组的陷阱:为什么你的清理函数没有按预期执行

在维护一个实时协作的看板应用时,我遇到了一个诡异的问题:当用户快速切换不同项目时,WebSocket 连接偶尔会泄漏,导致旧项目的消息仍然被推到界面上。排查后发现根因在于 useEffect 的依赖数组写法——清理函数捕获了过时的闭包变量,而依赖项又没覆盖到实际变化的值。这类问题在涉及订阅、定时器、事件监听、异步请求的场景里非常常见:...

Go 中切片 append 后原切片数据被覆盖?聊聊底层数组共享的坑

Go 中切片 append 后原切片数据被覆盖?聊聊底层数组共享的坑

线上一个定时同步任务偶尔会写出错误的数据,排查了两天才定位到问题:某个函数从缓存里取出 []byte 切片,追加一段后缀之后再返回,调用方拿到结果做了 Base64 编码,但编码内容偶尔会混入下一次请求的数据。单测里复现不了,只有在并发跑的时候才出现。这类问题通常不是并发写 map 那种直接 panic,而是切片底层数组被多处共享后互相覆盖,现象非常隐蔽。G...

Node.js 中 req.body 为 undefined?Express 中间件顺序与解析器配置的常见问题

Node.js 中 req.body 为 undefined?Express 中间件顺序与解析器配置的常见问题

在 Express 里写 POST 接口时,经常遇到 req.body 是 undefined 或者空对象,尤其是在刚搭好项目、添加了新的路由或者从其他框架迁移过来的时候。这个问题通常不是 Express 本身坏了,而是请求体解析中间件没有挂载、挂载顺序不对,或者客户端 Content-Type 与解析器不匹配导致的。Express 从 4.16 开始内置了...

Go 服务中 time.Ticker 的 Stop 不释放资源?一个容易被忽略的 goroutine 泄漏

Go 服务中 time.Ticker 的 Stop 不释放资源?一个容易被忽略的 goroutine 泄漏

线上一个用 Go 写的定时拉取配置的服务,内存和 goroutine 数在压测后一直往上涨,重启才能恢复。排查下来问题不在 time.Ticker 本身,而在每次热更新配置时创建了新的 ticker 却没停掉旧的,Stop() 调用漏掉了几条路径。time.Ticker 的文档写得很清楚:Stop 不会关闭 channel,但会移除 runtime 里的定时...

Node.js 中 stream 的背压机制:从 pipe 到 pipeline 的实战避坑

Node.js 中 stream 的背压机制:从 pipe 到 pipeline 的实战避坑

用 Node.js 处理文件上传、日志转储或者数据库导出时,经常遇到内存暴涨甚至进程被 OOM kill 的情况。表面上看代码只是把可读流接到可写流,逻辑简单,但运行一段时间后 RSS 持续攀升。问题大多出在背压(backpressure)没有被正确处理。可读流生产数据的速度超过可写流消费速度时,Node.js 的 stream 内部会通过 highWate...

Go 的 context 取消后,为什么我的 goroutine 还在跑?

Go 的 context 取消后,为什么我的 goroutine 还在跑?

线上服务里遇到过几次这样的情况:一个 HTTP 请求进来,我们内部用 context.WithTimeout 给下游调用设了 3 秒超时,同时起了几个 goroutine 并发查缓存、查数据库。结果超时之后接口返回了 504,但后台的 goroutine 并没有停,反而继续跑了几十秒,把连接池占满,日志里还一直出现慢查询。问题不在 context 本身,而在...

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

用户登录
用户注册
修改密码
忘记密码