您现在的位置是:首页 > 文章详情

脑洞:字节码加强 (1) 日志收集方案

日期:2019-11-07点击:439

背景

需求:
java技术栈,要接入目前所有的项目到日志中心,需求看似比较简单

但是实施的过程中各种问题,项目所属不同部门,使用开发框架不同,人员能力水平不同,

  1. 方案选择:

    • 方案1 各个项目接入logstash,

       各类日志框架都有,log4j logback log4j2(apache.logging.log4j),十分混乱,而且开发人员需要引入jar,有可能会与现有的jar版本冲突,有一定的开发成本.
    • 方案2 基于现有的文件日志,filebeat收集之后,再进行分析,发送到消息队列,然后转储到elastic search.

       可是日志格式不统一,kao
    • 方案3 基于字节码加强,

       重写log4j logback log4j2中关于打印日志的方法,进行拦截. 加入我们自己的逻辑,将日志以可控的形式进行记录,将消息直接入mq,再由消费端进行消费(可以是logstash或者自研的处理程序),然后将此程序集成至基础docker镜像,JAVA_OPTS参数设定javaagent路径即可
  2. 实施:

字节码加强框架选择:asm bytebuddy jvm-sandbox,前两个坚决不用,原因:我不相信我自己写的代码,烂+懒
所以选jvm-sandbox github地址
还有另一个原因,类隔离,对加强的项目没有影响
项目里面有个比较好理解的demo,拦截异常的, 可以在这里查看

上代码,再解释(log4j)

new EventWatchBuilder(moduleEventWatcher) .onClass("org.apache.log4j.Category") .onBehavior("callAppenders") .onWatch(new AdviceListener() { @Override public void afterReturning(Advice advice) { try { //定义一个错误级别(默认保持与ERROR一致 int errorLevel = 40000; //获取event变量 Object event = advice.getParameterArray()[0]; // 获取event对应的日志级别 int level = invokeMethod(invokeMethod(event, "getLevel"), "toInt"); // 获取日志的打印时间 long timeStamp = invokeField(event, "timeStamp"); // 获取日志格式化后的字符串 String msg = invokeMethod(event, "getRenderedMessage"); // 获取logger name String loggerName = invokeMethod(event, "getLoggerName"); // 获取线程名 String threadName = invokeMethod(event, "getThreadName"); // 如果小于默认的错误级别 if (level < errorLevel) { // 将日志信息发送到本地队列,等待(异步)发送 offerAppLog(timeStamp, msg, level, loggerName, threadName, null); } else { // 如果是错误级别,定义throwable变量 Throwable throwable = null; // 获取ThrowableInformation信息 Object throwProxy = invokeMethod(event, "getThrowableInformation"); if (throwProxy != null) { // 从throwable代理类中获取真实错误信息 throwable = invokeMethod(throwProxy, "getThrowable"); } // 将带有错误信息的消息发送到本地消息队列,待发送 offerAppLog(timeStamp, msg, level, loggerName, threadName, throwable); // 接入点评的CAT,将错误信息输出到CAT大盘,用于报警 Cat.logError("[ERROR] " + msg, throwable); // 设定当前的context有错误信息,做后续处理 Cat.getManager().setHasError(true); } } catch (Exception ex) { //黑洞 } } });

org.apache.log4j.Category.callAppenders 这个方法是log4j框架,在write message之前调用的方法,是将符合设置的level的message写入各个配置中定义的appender.我们加强这段代码,相当于增加了一个自定义的 appender,把数据输入进去.
说明一下,里面用了反射,是使用了缓存的反射,是jvm-sandbox的机制,因为classloader的类加载策略,目前只能使用反射,经测试,并不会对性能有明显损失,后续文章会将性能测试贴出.

接下来 logback加强,一样的类似,基本和log4j没有区别

new EventWatchBuilder(moduleEventWatcher) .onClass("ch.qos.logback.classic.Logger") .onBehavior("callAppenders") .onWatch(new AdviceListener() { @Override public void afterReturning(Advice advice) { try { int errorLevel = 40000; Object event = advice.getParameterArray()[0]; int level = invokeMethod(invokeMethod(event, "getLevel"), "toInt"); long timeStamp = invokeMethod(event, "getTimeStamp"); String msg = invokeMethod(event, "getFormattedMessage"); String loggerName = invokeMethod(event, "getLoggerName"); String threadName = invokeMethod(event, "getThreadName"); if (level < errorLevel) { offerAppLog(timeStamp, msg, level, loggerName, threadName, null); } else { Throwable throwable = null; Object throwProxy = invokeMethod(event, "getThrowableProxy"); if (throwProxy != null) { throwable = invokeMethod(throwProxy, "getThrowable"); } offerAppLog(timeStamp, msg, level, loggerName, threadName, throwable); Cat.logError("[ERROR] " + msg, throwable); Cat.getManager().setHasError(true); } } catch (Exception ex) { //黑洞 } } });

不解释 ,接下来 log4j2 ,比较类似 ,区别是,log4j2的level值,和logback log4j不同, 是反过来的,而且值也不同,所以做了一个转换

new EventWatchBuilder(moduleEventWatcher) .onClass("org.apache.logging.log4j.core.config.LoggerConfig") .onBehavior("callAppenders") .onWatch(new AdviceListener() { @Override public void afterReturning(Advice advice) { try { int errorLevel = 40000; Object event = advice.getParameterArray()[0]; int level = invokeMethod(invokeMethod(event, "getLevel"), "intLevel"); if (level >= 500) { level = 10000; } else if (level >= 400) { level = 20000; } else if (level >= 300) { level = 30000; } else if (level >= 200) { level = 40000; } else if (level >= 100) { level = 40000; } else { level = 40000; } long timeStamp = invokeMethod(event, "getTimeMillis"); String msg = invokeMethod(invokeMethod(event, "getMessage"), "getFormattedMessage"); String loggerName = invokeMethod(event, "getLoggerName"); String threadName = invokeMethod(event, "getThreadName"); if (level < errorLevel) { offerAppLog(timeStamp, msg, level, loggerName, threadName, null); } else { Throwable throwable = invokeMethod(event, "getThrown"); offerAppLog(timeStamp, msg, level, loggerName, threadName, throwable); Cat.logError("[ERROR] " + msg, throwable); Cat.getManager().setHasError(true); } } catch (Exception ex) { //黑洞 } } });
ok ,以上就是第三种日志收集方案的核心代码,本系列文章完成之前会开放源码供参考.

脑洞:字节码加强 (2) 动态日志level
脑洞:字节码加强 (3) APM方案埋点解析
脑洞:字节码加强 (4) tomcat访问日志收集
脑洞:字节码加强 (5) 业务问题排查方案
脑洞:字节码加强 (6) 性能测试

原文链接:https://yq.aliyun.com/articles/726326
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章