只需4个步骤，分析解决在生产环境下JVM内存泄露问题

2019-08-04 655

作者：未完成交响曲

发现异常

首先通过我们内部搭建的日志平台发现我们线上环境一个java应用有大量的http接口请求超时，登录linux服务器查看网络环境没有问题，判断是应用自身运行异常，重启应用后发现异常还在，开始查找问题。

初步查找问题

通过指令：jstat -gcutil 查看jvm内存占用和gc情况：

发现老年代内存占用比例过高，并且每次fullGC后并没有有效回收。老年代内存占用百分比变化趋势大致如下：

初步判断大量请求超时和服务瘫痪的直接原因：

每次fullGC后的内存占用越来越高
内存占用增长速度越来越快
fullGC的频率越来越高
最终占用达到100%，服务完全瘫痪

分析处理

使用指令：jmap -histo:live * | more 查看堆内存中的对象数量和大小

发现Log4jLogEvent这个对象实例很多，占用内存也异常的大，初步分析是异步日志传输速度跟不上，导致日志对象堆积在内存中。
尝试使用调整Flume传输日志参数：提高flume单次传输量，减少最大延迟时间
重启应用并监控接口调用情况发现应用暂时恢复正常了。

后续分析

在前一步分析内存的同时，使用指令：jmap -dump:format=b,file=heapDump.hprof将实时内存信息导出（dump过程比较慢，所以在问题暂时处理完后进行后续分析），使用mat分析内存结构：

可以看到主要占据堆内存的对象信息，果然是Flume异步传输日志堵塞的问题。

总结

对jvm内存泄露这类问题的解决，主要是要善于利用jvm提供的类似jstat、jmap等工具来分析查找问题。这次问题虽然解决，但是后续还是存在出现此类问题的风险。所以除了加强jvm问题排查能力的同时，我们也将建立应用监控平台的计划提上日程，希望能对jvm内存、线程等应用实时运行指标进行监控，便于尽早发现问题。

欢迎大家一起交流，喜欢文章记得点个赞哟，感谢支持！

微信关注我们

原文链接：https://yq.aliyun.com/articles/712713

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

几行 Python 代码实现 Windows 下的文件批量重命名

几行 Python 代码实现 Windows 下的文件批量重命名一背景 “C:UsersgyslDocuments数据结构”目录中存在许多文件，现需要对其进行重命名，命名规则为：匹配文件名的前六个字符（这些文件的前六个字符就能区分文件名称，且不重复），源文件及重命名之后的文件的扩展名都是“.mp4”。二实现代码 # -*- coding:utf-8 -*- import os, re, shutil dst_dir = r'C:\Users\sysl\Documents\数据结构' file_list = os.listdir(dst_dir) for file in file_list: new_name = re.findall(r'^[数据结构]{4}[0-9]{2}|\.mp4$',file) # \u4E00-\u9FA5 if len(new_name) == 2 and file != new_name[0] + new_name[1]: shutil.move(os.path.join(dst_dir,file),os.path.join(dst_dir,new...

2019-08-05

660

一、原来代码示例代码: private static org.bouncycastle.jce.provider.BouncyCastleProvider bouncyCastleProvider = null; public static org.bouncycastle.jce.provider.BouncyCastleProvider getBouncyCastleProviderInstance() { if (bouncyCastleProvider == null) { bouncyCastleProvider = new org.bouncycastle.jce.provider.BouncyCastleProvider(); } return bouncyCastleProvider; } 二、优化后代码示例代码: private static volatile org.bouncycastle.jce.provider.BouncyCastleProvider bouncyCastleProvider ; public static org.bouncycas...

2019-08-05

635

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

只需4个步骤，分析解决在生产环境下JVM内存泄露问题

发现异常

初步查找问题

分析处理

后续分析