如何开发一款java应用运行时的监控程序?
前言
每个程序员都或多或少遇到过相当多的疑难杂症问题排查的时刻。我自己也是工作中遇到许多稀奇古怪的问题。最开始我们排查问题使用的是jprofiler。特别是使用jprofiler来排查调用链路的耗时问题。如下图所示:
但是jprofiler只能用于排查一些本地的问题。对于一些生产环境的由于网络隔离在加上权限受限, jprofiler就不是那么好使了。这时候萌生了自己做个小工具的想法。同时参考了一些工具和apm的实现, 简单实现了所需的功能。
我们现在思考下, 假设要开发一个java程序的监控工具，比如包含以下功能, 都需要怎么实现?
1. 实时或周期性的获取java进程运行数据, 包括但不限于内存,线程,操作系统,GC等。
2. 如何在运行时知道一个class是被哪个classloader加载的?
3. 如何动态的知道一个方法的执行时间?(对于基础的排查性能问题很有用)
4. 如何动态知道一个方法被调用时候的完整调用栈?
5. 如何动态的知道一次调用下一个方法的入参,返回值?
...
基础部分
在这个【基础部分】里, 我们可以很轻松的解决上边的问题1。这要感谢JDK5后提供的两大神器：Instrument和management。前置提供了应用程序之外的代理（agent）程序来监测和协助运行在JVM上的应用程序, 后者可以实时获取应用程序的实时运行数据。
Agent
我们遇到的第一个问题, 是如何将自己的监控程序和目标进程关联起来。
比如我1个monitor.jar,里边包含了我们的监控程序, 如何和生产环境正在运行的tomcat进程进行关联?
答案是JDK提供的agent机制。简单来说只需要做以下事情:
1. 监控代码的jar中包含Agent-Class属性。该值的名字是自定义的agent类。
2. 该类必须实现如下的方法:
public static void agentmain(String agentArgs, Instrumentation inst);
3. 使用VirtualMachine vm = VirtualMachine.attach(targetPid)关联到目标进程
其中Instrumentation非常重要, 后续还会说明。关于Agent-Class属性可以通过maven-assembly-plugin插件来设置:
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-assembly-plugin</artifactId>
<executions>
<execution>
<goals>
<goal>single</goal>
</goals>
<phase>package</phase>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
<archive>
<manifestEntries>
<Premain-Class>xxx</Premain-Class>
<Agent-Class>xxx</Agent-Class>
<Can-Redefine-Classes>true</Can-Redefine-Classes>
<Can-Retransform-Classes>true</Can-Retransform-Classes>
</manifestEntries>
</archive>
</configuration>
</execution>
</executions>
</plugin>
更多内容可参考下文
https://docs.oracle.com/javase/8/docs/api/java/lang/instrument/package-summary.html
Instrumentation
核心内容都在java.lang.instrumentation包下, 主要的类有:
public interface Instrumentation {
....
java.lang.instrument.Instrumentation
java.lang.instrument.ClassFileTransformer
....
}
ClassFileTransformer提供了类的转换功能, 可以对字节码进行修改。 而Instrumentation除了可以管理ClassFileTransformer之外, 还有一些其他功能。比如:
getAllLoadedClasses()
该方法可以获取当前虚拟机加载的所有Class对象。记住是所有。那在这里问题2就很好解决了。
我只需要遍历这个结果集和给定的名字是否匹配即可。再通过getClassLoader()可以获取这个类到底被谁加载了。
同时, getProtectionDomain().getCodeSource().getLocation().getFile() 还可以获取到当前类
的具体路径, 对于排查问题会更有帮助。
线程使用情况
java.lang.management.ThreadMXBean
以下方法比较有用:
getThreadCount() //线程数
getDaemonThreadCount() //daemon线程数
getPeakThreadCount() //峰值
getTotalStartedThreadCount() //启动过的线程数
操作系统
java.lang.management.OperatingSystemMXBean
以下方法比较有用:
getName() // 操作系统名称. 本机为 Mac OS X
getArch() // 系统架构. 本机为 x86_64
getAvailableProcessors() // 处理器个数. 本机为 8
getSystemLoadAverage() // 过去1分钟的load
getVersion() // 操作系统版本
内存
java.lang.management.MemoryMXBean
java.lang.management.MemoryManagerMXBean
垃圾回收
java.lang.management.GarbageCollectorMXBean
以下方法比较有用:
getName() // 收集器英文名称
getCollectionCount() // 该收集器收集总次数
getCollectionTime() // 该收集器收集总时间(ms)
注意:会有多个GarbageCollectorMXBean。
编译器
java.lang.management.CompilationMXBean
以下方法比较有用:
getName() //返回JIT编译器名称
getTotalCompilationTime() //返回在编译上花费的累积耗费时间的近似值（以毫秒为单位）
注意:需要调用isCompilationTimeMonitoringSupported方法来确定是否支持编译期的监控。
类加载
java.lang.management.ClassLoadingMXBean
以下方法比较有用:
getLoadedClassCount() //返回当前加载到 Java 虚拟机中的类的数量。
getTotalLoadedClassCount() //返回自 Java 虚拟机开始执行到目前已经加载的类的总数。
getUnloadedClassCount() //返回自 Java 虚拟机开始执行到目前已经卸载的类的总数。
isVerbose() //测试是否已为类加载系统启用了 verbose 输出。
运行时数据
java.lang.management.RuntimeMXBean
以下方法比较有用:
getName() //返回表示正在运行的 Java 虚拟机的名称
getStartTime() //返回 Java 虚拟机的启动时间
getManagementSpecVersion() //返回正在运行的 Java 虚拟机实现的管理接口的规范版本。
getSpecName() //返回 Java 虚拟机规范名称。
getSpecVendor() //返回 Java 虚拟机规范供应商。
getSpecVersion() //返回 Java 虚拟机规范版本。
getVmName() //返回 Java 虚拟机实现名称。本机为Java HotSpot(TM) 64-Bit Server VM
getVmVendor() //返回 Java 虚拟机实现供应商
getVmVersion() //返回 Java 虚拟机实现版本
getInputArguments() //返回传入的JVM启动参数
getClassPath() //返回类路径
getBootClassPath() //返回bootstrap的path
系统级别采集
之前整理了很多数据获取的方式，但是都是基于java进程本身的。这里介绍常用的基于linux系统本身的采集方式:
cpu: /proc/stat
memory: /proc/meminfo
load: /proc/loadavg
网卡: /proc/net/dev
TCP&UDP: /proc/net/snmp
io: /proc/diskstats
需要注意以下细节:
1. proc文件系统是提供系统运行状态的利器。很多开源的linux监控系统都是基于proc来进行分析和开发。
2. mac os并不支持proc。
3. 不同的linux发行版在proc的输出展示上有微小的不同。比如redhat和fedora在展示TCP数据时列名稍稍有差异。
进阶
class文件格式
对于理解JVM和深入理解Java语言， 学习并了解class文件的格式都是必须要掌握的功课。 原因很简单， JVM不会理解我们写的Java源文件， 我们必须把Java源文件编译成class文件， 才能被JVM识别， 对于JVM而言， class文件相当于一个接口， 理解了这个接口， 能帮助我们更好的理解JVM的行为；另一方面， class文件以另一种方式重新描述了我们在源文件中要表达的意思， 理解class文件如何重新描述我们编写的源文件， 对于深入理解Java语言和语法都是很有帮助的。
https://docs.oracle.com/javase/specs/jvms/se8/html/jvms-4.html
网络通信
思考2个问题:
1. 本机应用部署了monitor.jar, 我们如果想通过命令行交互, 怎么做?
2. 网络打通的远程服务器部署了monitor.jar, 命令行交互又该怎么做?
很容易的, 我们可以想到socket。摆在我们面前的有如下方案:
netty
mina
nio
这里我建议直接上nio。原因如下:
1. 我们要给monitor.jar减负。如果依赖了外部库, 会加重监控工具的臃肿程度;
2. nio已经足够用了。这个交互并不需要多么高的性能。杀鸡焉用牛刀;
3. mina的社区太不活跃了。虽然是个成熟的软件, 但是万一哪里踩坑都不好处理;
会话保持
会话保持有2个重要的参数。
- 会话保持时间, 常量。一般定义为10分钟就够了。
- 触摸时间, 每次发起请求会更新触摸时间
可以后台起daemon线程, 周期性检查触摸时间和当前时间的差值是否超过了会话保持时间。如果超过需要关闭连接。
通信协议
既然确定了网络通信使用nio, 那我们务必要制定一套简单的通信协议, 能简明的告知服务端和客户端请求响应信息。这里我们拿dubbo来举例:
可以看到dubbo有明确的byte位来指明哪些byte存放什么内容。这样做的好处有2, 1是结构清晰, 2是可以构造出尽可能小的报文数据。在高并发的请求下是及其有用的(节省资源), 虽然我们这个project这里并不是很重要, 但是保持一个好习惯总是没错的。
表达式语言
通信的时候需要考虑是否有更灵活的表达方式。如果可以ognl是一个不错的选择。
核心
在很多场景下, 我们核心要处理的并不是直接获取数据, 而是通过改造目标类, 从而达到各种灵活的功能。 所以如何完成目标类的改造是核心问题。
选型
大部分情况下你可以有以下4种选择:
javassist: 对于字节码以及指令良好的封装
bytebuddy: 更优良的设计和封装, 并获得 Duke's Choice Awards 2015。也算是个明星项目了, 目前社区还很活跃, 国人开发的skywalking便是基于它
asm: 成熟度高, 但相对更底层一些。需要开发者对字节码以及指令有一定了解
自研: 省省力气吧-_-
这里我的选择是直接上asm。理由是完成这个项目必不可少的需要了解字节码和方法指令, 那就干脆深入的去了解。其实ASM本身也提供了很多工具。
比如org.objectweb.asm.util.ASMifier就是一个带有Main方法的类。只需传入指定类的全名, 则会输出该类用asm描述的文本形式。
如何完成目标类的字节码更新
这里还是需要用到instrument工具。见:
void addTransformer(ClassFileTransformer transformer, boolean canRetransform);
void retransformClasses(Class<?>... classes) throws UnmodifiableClassException;
- 首先通过addTransformer添加一个转换器。请务必canRetransform为true才可以完成运行时转换。
- 然后调用retransformClasses来执行该转换器。此时你的transformer可以做任何你想做的猥琐事情。
如何完成目标方法的改造
我们再回头看下问题3,4,5.
3. 如何动态的知道一个方法的执行时间?(对于基础的排查性能问题很有用)
4. 如何动态知道一个方法被调用时候的完整调用栈?
5. 如何动态的知道一次调用下一个方法的入参,返回值?
可以看到可以规划为1个问题，那就是如何在目标方法调用前和返回前拦截?
ASM早就考虑到这种需求了, 所以给我们提供了完美的支持:
org.objectweb.asm.commons.AdviceAdapter extends org.objectweb.asm.MethodVisitor
protected void onMethodEnter() { }
protected void onMethodExit(int opcode) { }
此时我们只需在对应方法的实现下完成自己的拦截代码即可。注意:onMethodExit方法是包含了正常返回以及异常返回的(抛出异常)。在这里问题3已经很好解决了。不考虑其他特殊情况下可以ThreadLocal存储一份时间来在onMethodEnter和onMethodExit之间比较即可。
问题4的解决方案也很简单。在前置方法使用 Thread.currentThread().getStackTrace()即可拿到完整的栈列表。只不过要注意考虑去掉一些无意义的调用行, 比如java.lang.Method.invokexxxx这种。
涉及到方法指令集操作的可以通过继承 org.objectweb.asm.commons.GeneratorAdapter 来完成。GeneratorAdapter提供了相当多的工具方法,比如我们常用的：
loadArgArray() //获取参数列表
box() //装箱
loadThis() //实例方法加载index=0的slot
...
问题5在这里也很好解决, 通过GeneratorAdapter.loadArgArray()即可获取到。这里涉及到一点操作数栈的知识,下边会说。
如何取消目标方法的改造
当我们执行完成我们的监控后或连接关闭时, 需要取消类和方法的改造。否则改造后的类一直存在, 直到应用重启。
如何取消类的改造也很简单, 参考ClassFileTransform的官方文档:
If the implementing method determines that no transformations are needed,
it should return <code>null</code>.
所以我们只需要在transform列表的末尾添加一个返回为空的transform即可。
类加载隔离
这里的自定义类加载器是必须的。我们很难在一个单独的jar包中完成所有的事情, 部分功能很有可能交给第三方去做, 如下:
网络通信: Netty, Mina
字节码指令: asm
工具类: common-lang, guava
其中网络通信我们可以使用原生nio, 工具类可以自己来写, 但是asm的使用显得不可避免。这时会不可避免的和应用代码产生冲突。所以自定义ClassLoader很有必要。
jvm指令集
不管我们最终选择asm还是bytebuddy。对于jvm的指令集还是有必要深入了解一番的。相关的指令集可以大概分为以下几类:
栈操作
dup(包括dup2,dup2_x1等)
swap
pop
常量
xCONST(x代表了各种类型, 包括ACONST_NULL)
BIPUSH
SIPUSH
LDC
LDC2
逻辑运算
xADD
xSUB
xMUL
xDIV
xREM
转型
I2F,F2D,L2D ...
对象&字段
NEW
PUTFIELD
GETFIELD
方法
INVOKEVIRTUAL 声明过的方法
INVOKESPECIAL private&构造器
INVOKESTATIC
INVOKEDYNAMIC 动态方法
数组
xALOAD
xASTORE
跳转&返回
IFEQ,IFGE,IFNE...
xRETURN,RETURN
如上列举出的指令相对会简单一些且会经常用到。这里有2个地方可以方便的查询这些指令:
1. 当然是官网的jvm规范
https://docs.oracle.com/javase/specs/jvms/se8/html/jvms-6.html
2. 这里的解释相对官网会更通俗好懂一些
https://cs.au.dk/~mis/dOvs/jvmspec/ref-Java.html
操作数栈&本地变量表
先上一张图,这张图比较老了。
在JDK8之后, permanent区域已经被移除, 被新的MetaSpace所取代, 配合此文更佳:
http://ifeve.com/java-permgen-removed/
包装
写到这里, 核心的内容应差不多了。剩下的就是一些边角料。但是可以使你的project更加优雅和健全。
命令行解析
解析来自于命令行的参数并不是一件特别容易的事情。但是好在有优秀的工具:
jcommander (http://jcommander.org/)
jopts (https://github.com/jopt-simple/jopt-simple)
当然这里同样要考虑自己项目的复杂度, 我们的目标是尽可能做一个精简的监控程序。
awk&shell
如果你打算把你的project分享到gayhub上, awk&shell 务必要熟悉. 将监控程序做到自动化(下载,安装)
