一次堆外内存泄露的排查过程
背景:车联网应用,高频的监控数据解析入库查询。涉及到的中间件包括OTS、KAFKA、REDIS、RDS、DUBBO、MaxCompute、DataHub等等。 表现:java堆内存呈现非常规律的锯齿状,YGC,FGC都是正常的表现。但是在top命令中JAVA进程使用的RES持续增长,涉及到车联网产品8个应用。部分应用(8G内存)连续运行2天就使用了将近80%的内存。部分应用运行大概一周后占用了80%内存。截图一个典型的内存占比增长和堆内存的变化曲线 排查的过程比较曲折,网上也翻阅了不少前人的经验。不过较多的都是一些特定的例子,并没有形成系统的方法。不过通过例子确实帮助找到几个主要的堆外内存泄露的坑。其中有一篇文章的方法思路跟我后来总结的较为接近https://www.liangzl.com/get-article-detail-5958.html 。可以借鉴。我这里总结下核心的排查思路。1:JAVA堆内存泄露排查,因为这里主要讲堆外内存泄露的问题。所以这里主要讲下工具方法然后直接贴图了。主要使用Eclipse的MAT(Memory Analyzer Tool)来分析dump文件。工具会...