首页 文章 精选 留言 我的

文章列表

共 238133 篇
Node.js 中 Stream 的背压机制:为什么你的管道会内存暴涨

Node.js 中 Stream 的背压机制:为什么你的管道会内存暴涨

用 Node.js 处理大文件或高吞吐数据时,很多人第一反应是 fs.createReadStream 配合 pipe 写出去,代码看起来干净利落。但一旦上下游处理速度不匹配,比如读取本地文件很快、写入网络或压缩很慢,数据就会在内存里堆积。pipe 本身会处理背压,可一旦中间插入自定义的 Transform 流,或者手动监听 data 事件往可写流里 wri...

Go 的 io.Reader 接口与 bufio.Scanner 配合使用时的陷阱:一次连接断连引发的日志丢失

Go 的 io.Reader 接口与 bufio.Scanner 配合使用时的陷阱:一次连接断连引发的日志丢失

在一个用 Go 写的 TCP 网关服务里,需要把客户端发送的每一行命令打印到日志。最开始直接用 bufio.Scanner 读连接,测试环境正常,线上却偶尔少几行日志,而客户端坚称已经发送。排查后发现,问题不在网络层,而在于 bufio.Scanner 的错误处理:当连接被对端关闭时,Scan() 返回 false,Err() 可能返回 io.EOF、net...

Go 服务中信号处理导致 goroutine 泄漏的排查与修复

Go 服务中信号处理导致 goroutine 泄漏的排查与修复

线上一个基于 Gin 的 API 服务在滚动重启时偶尔会出现旧进程不退出的情况,systemd 要等到超时才发 SIGKILL。查看日志发现进程收到了 SIGTERM,但 http.Server.Shutdown 一直没有返回,连上 pprof 看 goroutine 数量持续上涨。这个问题在本地很难复现,只在长时间运行且流量较高的实例上出现。根本原因是后台...

React 中 useEffect 依赖数组的常见陷阱与正确使用方式

React 中 useEffect 依赖数组的常见陷阱与正确使用方式

在 React 函数组件中,useEffect 是处理副作用的核心 Hook,但它的依赖数组规则经常被误解,导致闭包捕获旧值、无限重渲染或遗漏更新等问题。很多开发者习惯在依赖数组中省略函数或对象,认为它们“不会变”,结果在异步回调或定时器中读取到过时的 state;也有人把每次渲染都会新建的对象直接放入依赖,触发 effect 反复执...

Go 服务中 context 超时控制失效的排查与修复

Go 服务中 context 超时控制失效的排查与修复

在 Go 后端服务里用 context.WithTimeout 控制下游调用超时很常见,但最近遇到一个线上接口偶尔卡住十几秒才返回的情况。排查后发现,问题不是超时没设置,而是下游 HTTP 客户端复用了带取消的 context,导致超时信号没有正确传递到实际请求上。超时控制失效的表现往往很隐蔽:日志里能看到 context deadline exceeded...

Node.js中处理multipart/form-data时如何正确解析文件流并避免内存溢出

Node.js中处理multipart/form-data时如何正确解析文件流并避免内存溢出

在Node.js里做文件上传接口,很多人会直接使用multer或formidable,但遇到大文件或高并发时,服务进程内存暴涨甚至崩溃。问题通常出在解析器默认把文件缓冲区放在内存中,或者没有正确消费流。这篇文章从HTTP请求的原始数据出发,说明multipart/form-data的边界结构,并借助busboy手动处理文件流,把文件直接写入磁盘或转发到对象存...

Node.js 中处理大文件上传:绕过内存限制的流式方案

Node.js 中处理大文件上传:绕过内存限制的流式方案

在 Node.js 服务端处理文件上传时,很多开发者习惯用 Express 的 multer 中间件,默认配置下它会把整个文件缓冲到内存或临时磁盘。当用户上传几百 MB 甚至 GB 级别的视频或压缩包时,内存占用会迅速飙升,轻则请求变慢,重则触发 OOM 崩溃。这个问题在文件上传、数据导入、备份恢复等场景中很常见。根本原因在于 Node.js 的 Buffe...

Node.js 中处理大文件上传的流式方案与背压控制

Node.js 中处理大文件上传的流式方案与背压控制

最近在做一个后台管理系统,需要支持上传几百兆甚至上G的日志文件和视频素材。一开始用 Express 的 multer 直接存到内存,结果稍微大一点的文件就直接把进程内存打爆,PM2 反复重启。后来改成写临时文件,又遇到磁盘写入速度跟不上网络接收速度,导致内存缓冲区堆积,Node 进程的 RSS 一路飙到几个G。这个问题在文件上传、日志采集、数据导入等场景很常...

Node.js 中 process.nextTick 与 setImmediate 的执行顺序:一次真实的调试记录

Node.js 中 process.nextTick 与 setImmediate 的执行顺序:一次真实的调试记录

线上一个订单状态同步服务偶尔出现回调执行顺序错乱,导致数据库写入先于缓存失效,用户短暂读到旧数据。排查后发现代码里混用了 process.nextTick、Promise.then 和 setImmediate,而开发者对它们在不同上下文中的优先级存在误解。Node.js 的事件循环有多个阶段,nextTick 队列和微任务队列在每个阶段之间被清空,setI...

Node.js 中处理 CSV 大文件时如何避免内存溢出:流式解析与背压实战

Node.js 中处理 CSV 大文件时如何避免内存溢出:流式解析与背压实战

后台管理系统里经常需要导入几十万行甚至上百万行的 CSV 数据,比如订单对账、用户批量导入、日志分析。很多同学一开始会用 fs.readFileSync 读整个文件再按行拆分,本地跑几百行没问题,一到生产环境就触发 JavaScript heap out of memory,进程直接挂掉。根本原因是 Node.js 的 Buffer 和字符串都有内存上限,一...

Node.js 中 stream 的背压机制:从一次文件上传内存暴涨说起

Node.js 中 stream 的背压机制:从一次文件上传内存暴涨说起

最近排查一个上传服务的内存问题,现象是上传大文件时进程 RSS 从 200MB 一路涨到 2GB 以上,最后被 OOM Killer 干掉。服务本身的逻辑很简单:收到上传的文件流,写进本地临时文件,再异步传到对象存储。代码里没有把整个文件读进内存的地方,用的是 fs.createWriteStream 和 pipeline,看起来已经很规范了。真正的问题出在...

Go 中 time.Ticker 未 Stop 导致的内存泄漏排查与修复

Go 中 time.Ticker 未 Stop 导致的内存泄漏排查与修复

在 Go 服务里用 time.Ticker 做定时任务很常见,比如定期刷新缓存、上报指标或清理过期数据。但 Ticker 内部持有一个 goroutine 和 channel,如果创建后没有调用 Stop,即使退出循环或函数返回,这个 goroutine 也不会被回收,时间一长就会造成 goroutine 泄漏和内存增长。这个问题在单元测试里很难发现,线上可...

Node.js 中使用 worker_threads 处理 CPU 密集型任务时如何避免内存泄漏

Node.js 中使用 worker_threads 处理 CPU 密集型任务时如何避免内存泄漏

在 Node.js 里跑图片缩放、PDF 解析或者加解密这类 CPU 密集型任务,主线程很容易被卡死,所以很多人会切到 worker_threads。但真用起来会发现内存涨得比预期快,尤其是 worker 反复创建销毁、或者任务里持有大 Buffer 的时候。常见的现象是进程 RSS 持续攀升,--max-old-space-size 调了也没用,因为泄漏可...

Go 里用 sync.Pool 缓存临时对象,为什么你的对象还是被 GC 回收了

Go 里用 sync.Pool 缓存临时对象,为什么你的对象还是被 GC 回收了

在高并发服务里频繁创建和销毁临时对象会明显增加 GC 压力,尤其是处理 HTTP 请求、序列化数据、拼接 buffer 这类场景。很多 Go 开发者知道 sync.Pool 可以用来复用对象,但实际用起来却发现对象的复用率很低,甚至怀疑 Pool 没有生效。问题通常不在 Pool 本身,而在于对它的回收机制理解不够:sync.Pool 中的对象会在每次 GC...

Node.js 中定时任务重复执行:setInterval 的漂移与竞态问题

Node.js 中定时任务重复执行:setInterval 的漂移与竞态问题

在 Node.js 里用 setInterval 跑定时任务,比如每 5 秒同步一次数据、每分钟清理一次缓存,看似简单,实际跑久了常出现任务堆积或执行间隔越来越偏。常见原因是回调函数是异步的:setInterval 只负责按固定间隔把回调丢进事件循环,并不等待上一次执行结束。如果某次任务耗时超过间隔,下一次回调就会在上一次还没完成时触发,造成并发执行同一任务...

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册
修改密码
忘记密码