【万字长文】Apache ShenYu集成Apache RocketMQ实现海量日志采集的原理与实践
Apache ShenYu集成Apache RocketMQ实现海量日志采集的原理与实践 本文作者 本文作者:hutaishi, 快手软件工程师,Apache ShenYu Contributor 可观测性介绍 可观测性能力的应用离不开数据与信息,而日志(logs)、指标(metrics)与链路(trace)是最重要的数据信息源。 Apache ShenYu利用java agent和字节码增强技术实现了无侵入的可观性,使得用户无需引入依赖即可接入第三方可观测性系统, 获取 Traces、Metrics 和 Logging。 本文基于2.4.3-SNAPSHOT版本分析Apache ShenYu集成RocketMQ实现日志的可观测性。 分析Agent技术架构、Agent实现细节、响应式系统中日志采集、RocketMQ的集成 采集可观测性日志 从数据的采集到可视化的整体流程图如下: Java Agent和ByteBuddy技术 ShenYu-Agent的可观测性实现模块尽管是放在ShenYu项目下,但实际上他和网关是独立的,对网关的监控是无代码侵入的。 这种无代码侵入的自动埋点基于Jav...