您现在的位置是：首页 > 文章详情

JVM Metaspace内存溢出排查与总结

日期：2020-11-05点击：428收藏

一. 现象

前段时间公司线上环境的一个Java应用因为OOM的异常报警，导致整个服务不可用被拉出集群，本地模拟重现的现象如下:

当时的解决方案是增加metaspace的容量：-XX:MaxMetaspaceSize=500m，从原来默认的256m改为500m，虽然没有再出现oom，但这个只是临时解决方案，通过公司的监控系统观察metaspace的使用情况还是在上升，而且后面随着业务访问量越来越大还是有可能达到阈值。

二. 分析

Metaspace元空间主要是存储类的元数据信息，我们的应用里加载的各种类描述信息，比如类名、属性、方法、访问限制等，按照一定的结构存储在Metaspace里。

由此可知metaspace空间增长是由于反射类加载，动态代理生成的类加载等导致的，也就是说Metaspace的大小和加载类的数据有关系，加载的类越多metaspace占用的内存也就越大。

因为了解当时的业务场景是因为有个邮件服务访问订单详情接口的访问量突然上升，以及查看log的eroor日志发现大部分都是订单详情接口先报出的这个问题:java.lang.OutOfMemoryError: Metaspace

这里我在测试环境Java应用的jvm里增加-XX:+TraceClassLoading -XX:+TraceClassUnloading记录下类的加载和卸载情况，然后通过jmeter多个线程调用订单详情接口模拟metaspace溢出的现象，发现在catalina.out文件里输出的除了业务上用到的类外还有大量的反射类，如下：

这些反射类被频繁的加载和卸载是不正常的，通过Arthas诊断工具（Java在线诊断利器之Arthas）观察调用链发现每次调用接口都是通过反射的方式实现的。

目前我们的项目都是基于SOA框架对外提供访问的，从上图sun.reflect的调用者也能看出来

通过上图可以看出在调用底层接口时都是通过反射的方式获取类的实例，查看框架底层代码实现可以确认

同样对底层接口返回的json数据反序列化时也会用到反射

继续跟代码可以看到这些反射的实现都会用到java.lang.Class里的ReflectionData对象

ReflectionData是个内部静态类被缓存起来，里面的属性就是我们做反射操作时需要用的属性Field，方法Method和构造函数等。但是有个问题reflectionData是被SoftReference软引用修饰的，如下图

如果是软引用的话在内存空间不足时就可能会被回收掉，如果回收掉那下次再使用的话只能重新通过反射获取。

而SoftReference是否被回收又跟SoftRefLRUPolicyMSPerMB参数的值有关系，查看我们线上JVM的配置发现XX:SoftRefLRUPolicyMSPerMB这个参数设置的是0

SoftRefLRUPolicyMSPerMB这个参数大概意思是每1M空闲空间可保持的SoftReference对象的生存时长(单位是ms毫秒)，LRU是Least Recently Used的缩写，最近最少使用的。

这个值jvm默认是1000ms，如果被设置为0，就会导致软引用对象马上被回收掉，进而会导致重新频繁的生成新的类，而无法达到复用的效果。

上图里大量的sun.reflect.GeneratedSerializationConstructorAccessor，GeneratedMethodAccessor就是这样产生的。

我把这个参数改回默认值-XX:SoftRefLRUPolicyMSPerMB=1000 (1秒)，发布到生产环境验证了下，发布后就降下来了，到今天为止基本上趋于稳定

调整后基本上没有再出现波动

三. 总结

目前主要是通过修改JVM的-XX:SoftRefLRUPolicyMSPerMB值来解决metaspace上升问题，后续会持续观察变化，适当调整参数。至于这个参数之前为什么会被设置成0, 还需要找ops确认下。
我们的应用需要大量RPC交互，属于I/O密集型业务，使用SOA，Dubbo都会遇到类似的问题，通过上面的源码分析可以看出这个是无法避免的(除非是换一种序列化协议，比如hessian，不走方法反射的方式来赋值)包括本身使用的Spring框架很多地方也是通过反射实现的比如AOP，还有我们埋点经常使用的JsonUtils工具，通过dump文件也能看出来存在大量的属性拷贝和反射操作。

所以我们在平时的业务代码开发中如果遇到两个对象赋值的操作尽量少用反射的方式实现，比如下面的代码：