基于 PTS 压测轻松玩转问题诊断-低调大师

基于 PTS 压测轻松玩转问题诊断

2022-01-19 495

作者：智云

为什么要做压测的问题定位？

性能测试 PTS（Performance Testing Service）是具备强大的分布式压测能力的 SaaS 压测平台，可模拟海量用户的真实业务场景，全方位验证业务站点的性能、容量和稳定性。

在不断的对被压服务端水位进行摸高的过程中，我们可以从压测视图或者压测报告中看到较为全面的压测指标，例如 QPS、RT、TPS 等，但是单纯从这些指标上，是不能很快的定位到服务端具体问题所在的，例如，我们从全场景错误信息中心可以看到错误码对应的接口的响应体，但是具体在下游的哪一环节出错，以及错误的堆栈是什么，这里单纯从报告中是看不到的，而接口下游具体是哪里出错，错误堆栈是什么，正是用户所关心的问题。

借助问题诊断，我们可以明确被压接口的上下游的调用情况，同时，从链路视图上，我们可以看到整条链路所经过的消息组件(Kafka、RocketMQ 等)、缓存(Redis、MongoDB 等)、数据库(MySQL、Oracle 等)、RPC 调用(Feign、Dubbo、HttpClient 等)，例如，某个接口出现状态码异常或者其他的错误，那么，我们可以从调用链上看到到底是 Rpc 调用出现问题，还是数据库读写出现问题，并且能够从调用链上看到对应的报错堆栈，在这些信息的基础上，问题应该去哪里定位也就比较明确了。

问题诊断基本介绍和核心优势

基本介绍

谈到问题诊断，用户主要关心接入问题诊断是否需要对应用侧代码做一系列的改造，是否需要进行繁杂的配置等等。PTS 提供的问题诊断是基于 JavaAgent 的，无需用户侧做业务代码改造，对于基于 Tomcat 的部署方式，用户只需在启动脚本中添加一些必要的参数即可接入问题诊断；对于 Kubernetes 用户，用户只需在 Yaml 配置文件中添加一些必要的注解即可接入问题诊断。对于链路的采集规则，PTS 会提供默认的配置，用户也可根据自己的需要自行更改。

PTS 集成的问题诊断在压测过程中，针对每条请求，会在施压引擎端生成 TraceId，通过 TraceId 将该条请求所涉及到的上下游链路关联起来，用户可以看到从该条请求作为入口到本条请求结束所涉及到的完整调用链，同时，问题诊断会针对该调用链生成相应的应用拓扑视图，可以让用户清晰地看到应用之间的调用关系。

针对异常的接口，我们可以在调用链中看出对应的错误原因，同时，用户可以根据具体的报错堆栈对服务端的问题进行排查和优化。压测过程中用户可以实时的查看指定请求的调用链，同时，压测结束之后，也可以从压测报告中对问题进行回溯。

核心优势

1、零代码侵入： 针对 Java 类型的服务，用户侧无需进行业务侧代码改造即可完成问题诊断的探针接入。

2、集成度高： 压测、监控、问题诊断，集成在同一控制台，用户理解和操作成本相对较低。

3、监控指标全： 在压测过程中，除了较为基础的监控指标外，同时针对每个服务，提供接口、机器、应用级别的监控。

4、门槛低： 仅需要简单配置参数即可完成问题诊断探针接入，同时该探针还具备多协议 Mock、全链路压测等功能。

快速玩转问题诊断

接入问题诊断的基本流程图如下所示：

接入探针，并查看是否接入成功

首先，我们将被压场景所涉及到的应用梳理出来，将涉及到的所有应用按照【问题诊断】->【探针接入 [1] 】文档中的步骤进行问题诊断探针接入。我们可以在 PTS 控制台的应用配置或者应用监控、接口监控、机器监控中任选一个来查看应用探针是否接入成功。我们本次演示的压测场景涉及到五个应用，分别是 petstore-web、petstore-user、petstore-order、petstore-catalog、petstore-cart，这以应用监控举例来查看应用是否成功接入。依次点击 PTS 控制台的【问题诊断】->【应用监控 [2] 】->选择我们配置的 Region 以及 Namespace，如果看到压测场景涉及到的所有应用均在该页面，则代表应用接入成功。

在压测场景中打开问题诊断开关

然后，我们在 PTS 控制台的【压测中心】->【创建场景 [3] 】中创建压测场景，这里可以选择 PTS 场景或者 JMeter 场景等，这里以 PTS 场景为例，因为本次演示主要是验证问题诊断的能力，所以需要在场景配置中的【高级设置】中打开问题诊断开关。具体的监控采集规则，PTS 会为用户推送默认采集开关打开的配置，同时，将采样率设置为千分之一，用户也可根据自己的需要进行自定义。

开始压测，查看应用监控

完成了以上步骤，我们的压测场景即具备了问题诊断的能力。当我们点击开始压测之后，可以到应用监控、接口监控、机器监控中选择我们关心的服务查看对应的监控情况，这里以应用监控 [2] 为例，其他类型的监控操作步骤类似，我们选择 petstore-user 这个服务来查看应用监控，如下图所示：

压测结束后，查看全场景错误信息

压测结束后，我们需要从压测报告中针对被压服务端的问题进行排查，打开对应场景的压测报告，具体步骤：PTS 控制台->【压测中心】->【报告列表 [4] 】，选择对应的压测报告，可以从概览页中看到全场景的信息，具体如下图所示：

选择探针采样，查看具体调用链情况

点击【查看采样日志】，采样类型选择”探针采样“即可过滤出问题诊断探针所采集到的调用链，具体如下图所示：

查看调用链具体错误堆栈信息，定位服务端问题所在

筛选出来探针端采集的调用链之后，即可对存在问题的接口进行调用链分析，例如，商品列表的接口返回的状态码为 500，点击查看详情看下具体原因，如下图所示：

从调用栈中可以看到具体的报错原因，从而对服务端代码进行优化和修复。同时，可以通过应用拓扑视图和数据库视图查看服务之间的调用情况以及数据库使用情况，这里以应用拓扑视图举例，如下图所示：

压测报告常见错误码总结

问题诊断错误码总结

问题诊断调用链路中的常见错误码进行总结，具体如下：

java.lang.NullPointerException：服务端空指针，具体可根据调用链中的错误堆栈对服务端的代码进行排查。
com.microsoft.sqlserver.jdbc.SQLServerException：服务端 SQL 报错，可根据调用链采集的堆栈信息对服务端 SQL 语法等进行检查。

压测报告错误码总结

这里针对压测报告中常见的错误进行列举，我们可以从全场景错误信息中看到相关的错误信息，具体如下：

class java.net.SocketTimeoutException:null 表示请求在等待响应或者读取中途（idle）超时。请检查服务端健康状况或者 PTS 的压测 API 超时时间的设置是否合理，另外还有可能是服务端处理能力出现瓶颈。
class java.net.ConnectException:null 表示请求在与远端（被压测端）建立 TCP 连接时就出现失败或者被远端拒绝。请检查服务端健康状况，或者是网络连接层是否有瓶颈。
class java.util.concurrent.TimeoutException:null 表示请求在与远端（被压测端）建立 TCP 连接时就出现失败或者被远端拒绝。请检查服务端健康状况，或者是网络连接层是否有瓶颈。
class org.apache.http.ConnectionClosedException:Connection closed 表示连接异常关闭，服务端主动关闭了连接。
class java.io.IOException:Connection reset by peer 表示连接被重置。若使用了 SLB，请查看 SLB 的配置是否有问题。
class org.apache.http.ConnectionClosedException:Connection closed unexpectedly 表示数据尚未接收完毕，连接就已关闭。可能服务端未及时响应或者提前终止调试或压测。
class java.lang.RuntimeException:java.net.UnknownHostException 表示域名信息无法解析。请检查域名是否已经正常注册并可以解析、未注册的域名是否已进行域名绑定。
class org.apache.hc.core5.http.ProtocolException:Header 'key: value' is illegal for HTTP/2 messages 表示在服务端优先使用 HTTP2 协议的情况下，场景配置了 HTTP2 协议不支持的 Header，请移除相应Header后重试。HTTP2 不支持的常见 Header 有：Connection、Keep-Alive、Proxy-Connection、Transfer-Encoding、Host、Upgrade。

字节跳动 iOS Heimdallr 卡死卡顿监控方案与优化之路

本文主要介绍Heimdallr对卡死、卡顿异常的监控原理，并结合长时间的业务沉淀发现的问题进行不断迭代和优化，逐步实现全面、稳定、可靠的历程。作者：字节跳动终端技术——白昆仑前言卡死、卡顿作为目前iOS App的重要性能指标，不仅影响着用户体验，更关系到用户留存、DAU等重要产品数据。本文主要介绍Heimdallr对卡死、卡顿异常的监控原理，并结合长时间的业务沉淀发现的问题进行不断迭代和优化，逐步实现全面、稳定、可靠的历程。一、什么是卡死/卡顿？卡顿，顾名思义就是在使用过程中出现了一段时间的阻塞，使得用户在这一段时间内无法进行操作，屏幕上的内容也没有任何的变化。Heimdallr在监控指标上，根据阻塞时间的长短进行了3个等级的划分。 1、流畅性与丢帧：动画、滑动列表不流畅，一般为十几至几十毫秒的级别 2、卡顿：短时间操作无反应，恢复后能继续使用，从几百毫秒至几秒 3、卡死：长时间无反应，直至被系统杀死，通过线上收集数据，最少为5s 可以看到，根据严重性由小至大可将卡顿问题划分为流畅性与丢帧、卡顿、卡死三个不同的等级。卡死的严重程度与Crash是相当的，甚至...

2022-01-19

700

在 Google I/O 2019，我们分享了 Room 2.2 的最新进展。尽管当时已经支持了很多功能，如支持 Flow API，支持预填充数据库，支持一对一及多对多数据库关系，但是开发者们对 Room 有着更高的期望，我们也致力于此，在 2.2.0 - 2.4.0 版本中发布了很多开发者们期待的新功能！包括自动化迁移，关系查询方法以及支持 Kotlin Symbol Processing (KSP) 等等。下面我们就来逐一介绍这些新功能！如果您更喜欢通过视频了解此内容，请点击此处查看。自动化迁移在谈自动化迁移之前，先看看什么是数据库迁移。假如您更改了数据库 schema，就需要根据数据库版本进行迁移，以防用户设备内置数据库中现有数据丢失。如果您使用 Room，那么在数据库迁移过程中会进行检查并验证更新后的 schema，另外您也可以在 @Database 中设置 exportSchema，来导出 schema 信息。对于 Room 2.4.0 版本之前的数据库迁移，您需要实现 Migration 类，并在其中编写大量复杂冗长的 SQL 语句，来处理不同版本之间的...

2022-01-19

536

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。