调用链与日志关联的探索式查询-低调大师

调用链与日志关联的探索式查询

2019-10-20 587

摘要：本文将就Observability中的日志聚合、分布式跟踪及具体应用中结合使用进行展开说明。

一、Observability

Observability是一个最近几年开始在监控社区流行的术语。本文将Observability视为一种理念，一种监控的超集，包括监控、日志聚合、分布式跟踪，可以实时更深入地观察系统。本文将就其中的日志聚合、分布式跟踪及具体应用中结合使用进行展开说明。

二、日志与调用链的探索式查询

微服务、云和容器化架构的出现，改变了我们构建系统的方式。应用程序是分布式的，而且瞬息万变。加之底层的基础设施和网络服务愈加健壮，日常系统运维的大部分工作将来自应用程序层或者是不同应用程序之间的复杂交互调用。

对于复杂的跨系统调用，一次请求可能需要后台几台或上百台节点的支持。此时具体到一次请求已经很难通过人力确认其处理的完整流程，此时最能反映每次请求处理过程的应该是分布式追踪（下文简称调用链）。

调用链是从一次具体请求的全局角度看待问题，当细粒具体到一个节点时，应用系统自身打印的日志最能说明当前节点处理逻辑。

下面通过一张简图来说明调用链和日志聚合做的事情：

调用链的作用是将一次请求所经过的所有节点和关键操作进行记录并汇总展示出来，就像图中绿色箭头，能够提供一个全局的视角去看待一次请求。

日志聚合的作用是将所有节点和系统产生的日志进行汇总整理，并提供给用户一个有效并友好的查询能力。

但是我们在具体使用过程中往往是这样的：

从调用链进来以后发现了一个问题，然后切换到日志聚合去根据特定属性查询对应的日志信息，通过排查日志信息发现还需要再次去查询与之关联的调用链信息……如此往返多次。

日志与调用链的探索式查询对于这种经典场景提供了一种新的闭环处理问题模式：

从调用链入口进入，可以根据调用链关联到具体应用的与当前调用链相关的日志，根据日志也可以关联到具体一条调用链；从日志入口进入，可以根据日志关联到与当前日志相关的具体一条调用链，根据一条调用链又可以关联到与当前调用链相关联的日志。而且两种模式可以相互切换。

三、举个栗子

用户小明通过日志聚合搜索发现有A系统一段日志有异常信息，此时他可以通过此条日志关联找出对应的调用过程a。通过观察a这条调用链小明发现，是由于a上的节点a[2]超时导致。此时小明可以从调用链关联到与节点a[2]相关的日志内容从而确定问题所在（具体效果见下文）。

四、整体架构设计

4.1 数据抓取：

应用集群中的机器上部署的agent用于数据收集和上送，探针内嵌在容器（tomcat等）用于为应用画像和收集应用信息

4.2 数据传输：

agent将处理过后的日志通过mq上送到监控服务器

4.3 数据处理及存储：

监控服务器将采集上来的数据进行处理并将其存入ES，方便用户通过特定特征快速定位

4.4 数据展示：

将数据进行可视化展示，并提供方便的可视化自定义查询服务

五、具体实现

在介绍调用链和日志聚合具体实现之前需要明确的几个概念：

5.1 中间件劫持技术

通过在中间件启动时动态将我们自己的代码行为植入到中间件的各种行为中的技术。比如在tomcat启动时动态在tomcat处理请求的开始位置添加代码劫持，则能够实现在tomcat执行处理请求逻辑之前进行服务调用画像等功能。更多能力和实现方式可以参考：http://chuansong.me/n/603660351655

5.2 traceId

通过中间件劫持技术在服务调用最前端产生且能够唯一确定一条调用链的id。

主要实现逻辑：

在应用容器启动时，使用中间件劫持技术在服务调用入口和应用日志写文件入口位置添加劫持点
在发生服务调用时生成调用链元数据和上下文
当应用写日志时通过写文件入口劫持点获取当前调用的调用链上下文，将traceId与应用日志一同写入应用日志文件
日志归集将生成的日志文件聚合整理上送到监控服务器
监控服务器将收集到的日志信息，进行处理并存入es
web页面将存储在es中的数据进行展示

核心逻辑如下图：

六、调用链和日志聚合实现

调用链部分分为：模型设计、服务端信息收集（轻/重）、方法级信息收集（轻/重）、客户端信息收集（轻/重）、调用链协议设计（轻/重）、调用链上下文传递、调用信息记录及传递、调用数据统计处理几个关键过程。关键技术为中间件劫持增强框架、调用模型设计和调用链上下文传递。

应用日志部分分为：日志归集，日志内容处理传输，服务端日志处理及存储等几个关键步骤。关键技术为：服务画像技术、日志归集。

七、效果展示

7.1 调用链入口

通过特定条件搜素出关心的具体一次调用过程，点击进入调用的详细过程界面。

点击右侧的关联按钮可快速定位到与之相关联日志。

7.2 日志入口

通过特定特征（图中为按照Hello关键字进行搜索）搜索出符合条件的日志。

通过点击具体日志即可进入对应的调用过程。

参考资料

下载UAVStack的源码（https://github.com/uavorg）

下载AllInOne开发演示版（https://uavorg.github.io/main/）

作者：李崇

来源：宜信技术学院

微信关注我们

原文链接：https://yq.aliyun.com/articles/721513

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

昨天，这项阿里技术再获世界级科技大奖！

第六届世界互联网大会来了！千年水乡古镇乌镇又一次吸引了全世界的目光。昨天，阿里云自研数据库POLARDB 在会上当选世界互联网领先科技成果。POLARDB解决了企业在云时代的数据库难题，帮助企业在数小时内完成上云，解决数字化转型的关键问题。世界互联网领先科技成果于2016年首次发布，颁发对象为各行业最具突破的科技，涵盖人工智能、数据库、操作系统、芯片、量子计算等领域。数据库和中间件、操作系统是软件领域的核心“三驾马车”。过去十余年，企业既依赖于传统数据库也被其所困，在云计算时代，企业需要新型数据库来根治传统数据库价格高昂以及难以弹性使用的局限性，云数据库的开发成为全球科技界最为关注的关键研发工程之一。 POLARDB是国内首个云原生数据库，采用存储计算分离、软硬一体化等创新设计，满足大规模业务场景上云需求。同时还集成了达摩院诸多智能

2019-10-21

602

前言当我们手拿含光这把神兵利器的时候，首先要了解这把剑的精华。比如杨过用的玄铁重剑，其剑法要诀是“重剑无锋，大巧不工”，其中境界，远胜世上诸般最巧妙的剑招，越是平平无奇的招数，对方越难抗御，如挺剑直刺，劲力强猛，轻重刚柔随心所欲，刚劲柔劲混而为一，威力远比变幻奇妙的剑招更大。又如金蛇剑，形状奇特，却因此比之寻常长剑增添了不少用法，配合“金蛇秘笈”，颇多招式看来绝无用处或者甚不可解的，尽成厉害招术。虽然这是武侠小说中的创意，但金大侠确是有深意：剑不同诀不同，为剑而量身打造剑法心诀，才能发挥剑的威力。如果由我来理解，含光的精髓在于“利”，如一把削铁如泥的宝剑！使用如此锋利的宝剑，其剑道需要由繁化简，由简而快，达到返璞归真。在芯片领域，特定领域架构（Domain-Specific Architecture, DSA）正是一种由繁化简的思

2019-10-21

769

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。