JVM Profiler介绍
开篇
过去的几周把java多线程相关部分的源码粗粗的看了一遍基本上也算告一段落了,后面应该会聚焦看下dubbo、mycat、datax以及剩下部分的mybatis。
应该是周一的时候公众号推了一篇文章《Uber开源JVM Profiler,用以跟踪分布式Java虚拟机》,刚好认识公司内部的一个大神(在java方面造诣很深让人非常佩服,技术深的跟大海一样,知道是谁了吧,你们懂的)在公司内部开发了类似的系统,然后勾起了我的兴趣,然后自然而然地把核心代码看了一遍,准备分几篇文章依次讲解,希望有兴趣的可以一并看看。
之所以我觉得值得看,原因有以下几点:
- 代码全java编写,结构清晰阅读难度不大。
- 整个代码框架非常有扩展性,适合内部拉分支然后继承更多的东西。
- 对jvm相关系统采集、jvm字节码修改等技术有一定了解。
JVM Profile诞生
Apache Spark 计算框架已经被广泛用来构建大规模数据应用。对 Uber 而言, 数据是战略决策和产品开发的核心。为了更好地利用这些数据, Uber 需要管理遍布全球的 Spark 实例。 Spark 使得数据技术更易于访问, 如果要做到对 Spark 应用程序的进行合理的资源分配, 优化数据基础架构的操作效率, 就需要对这些系统有更细粒度的洞察力, 即识别其资源使用模式。
为了在不改变用户代码的情况下也能达成上述目标, Uber Engineering 团队构建并开源了 JVM Profiler —— 一个分布式探查器,用于收集性能和资源使用率指标为进一步分析提供服务。尽管它是为 Spark 应用而构建的, 但它的通用实现使其适用于任何基于 Java 虚拟机 ( Java virtual machine ,JVM) 的服务或应用程序。
但是,JVM Profile可以用到其他地方,包括用来监控方法级耗时,IO&CPU性能,JVM各代垃圾回收等
JVM Profiler介绍
Uber Engineering 团队构建并开源了 JVM Profiler 。现有的同类开源工具, 比如 Etsy 的 statsd-jvm-profiler , 可以在单个应用程序级别收集度量, 但是不提供动态代码注入收集度量的能力。在这些工具的启发下, 我们的探查器提供了新功能, 如任意 Java 方法/参数分析。
JVM Profiler 由三项主要功能组成, 它使收集性能和资源使用率指标变得更容易, 然后可以将这些指标 (如 Apache Kafka) 提供给其他系统进行进一步分析:
- 代理功能 ( java agent ) : 支持用户以分布式的方式收集各种指标 (例如如 CPU/内存利用率) ,用于 JVM 进程的堆栈跟踪。
- 高级分析功能(Advanced profiling capabilities): 支持跟踪任意 Java 方法和用户代码中的参数, 而不进行任何实际的代码更改。此功能可用于跟踪 Spark 应用的 HDFS NameNode RPC 调用延迟, 并标识慢速方法调用。它还可以跟踪每个 Spark 应用读取或写入的 HDFS 文件路径, 用以识别热文件后进一步优化。
- 数据分析报告( Data analytics reporting ): 使用 JVM Profile 可以将指标数据推送给 Kafka topics 和 Apache Hive tables , 提高数据分析的速度和灵活性。
JVM Profiler 实现
JVM Profiler 具有非常简单且可扩展的设计。可以很容易地添加其他 Profiler 收集更多的指标, 也能部署自定义 reporter 向不同的系统发送数据指标。
一旦启动 JVM Profiler 代码即通过代理参数加载到一个 Java 进程中。它由三个主要部分组成:
Class File Transformer
- 类文件转换器介由进程内的 Java 方法字节码监视任意用户代码并在内部度量缓冲区中保存度量。
Metric Profilers
- CPU/Memory Profiler: 通过 JMX 收集 CPU/内存利用率并发送给 reporter
- Method Duration Profiler: 从度量缓冲区读取方法时延 (method duration) 并发送给 reporter
- Method Argument Profiler: 从度量缓冲区读取方法参数值(method argument )并发送给 reporter
Reporters
- Console Reporter: 控制台输出
- Kafka Reporter: 发送到 Kafka topics
JVM Profiler 扩展
通过 -javaagent 选项可以构建自己的 reporter , 例如:
java -javaagent:jvm-profiler-0.0.5.jar=reporter=com.uber.profiling.reporters.CustomReporter
JVM Profiler 应用
示例:使用 JVM Profiler 跟踪一个简单的 Java 应用
首先,git clone 项目代码
git clone https://github.com/uber-common/jvm-profiler.git
然后,mvn package 构建 jvm-profiler jar
mvn clean package
最后,调用 JAR 运行 JVM Profiler (e.g.target/jvm-profiler-0.0.5.jar)
java -javaagent:target/jvm-profiler-0.0.5.jar=reporter=com.uber.profiling.reporters.ConsoleOutputReporter -cp target/jvm-profiler-0.0.5.jar com.uber.profiling.examples.HelloWorldApplication
上述命令行将运行一个简单的 Java 应用并通过控制台输出性能和资源使用情况。
ConsoleOutputReporter - MethodDuration: {"metricName":"duration.count","processName":"1871@xiaozhideMacBook-Pro.local","appId":null,"host":"xiaozhideMacBook-Pro.local","processUuid":"ab87c07f-0c4b-493e-9465-f2b081545873","metricValue":2.0,"methodName":"publicSleepMethod","className":"com.uber.profiling.examples.HelloWorldApplication","epochMillis":1536043534991,"tag":"mytag"} ConsoleOutputReporter - MethodDuration: {"metricName":"duration.sum","processName":"1871@xiaozhideMacBook-Pro.local","appId":null,"host":"xiaozhideMacBook-Pro.local","processUuid":"ab87c07f-0c4b-493e-9465-f2b081545873","metricValue":2026.0,"methodName":"publicSleepMethod","className":"com.uber.profiling.examples.HelloWorldApplication","epochMillis":1536043534991,"tag":"mytag"} ConsoleOutputReporter - MethodDuration: {"metricName":"duration.min","processName":"1871@xiaozhideMacBook-Pro.local","appId":null,"host":"xiaozhideMacBook-Pro.local","processUuid":"ab87c07f-0c4b-493e-9465-f2b081545873","metricValue":1005.0,"methodName":"publicSleepMethod","className":"com.uber.profiling.examples.HelloWorldApplication","epochMillis":1536043534991,"tag":"mytag"}
参考文章
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
新一代大数据引擎操作系统:DataWorks V2.0重磅来袭
认识DataWorks:新一代大数据引擎操作系统 众所周知,MaxComput与Blink分别是阿里巴巴自主研发的离线计算、实时计算大数据计算引擎,不仅拥有多项国家专利技术,而且多项关键指标已远超业内开源引擎平均能力,名副其实地成为了阿里巴巴大数据之路上的领航者。 如果把阿里巴巴大数据计算引擎比作一台PC的CPU,GPU,SSD等硬件设备,那么DataWork就是这台大数据PC的Window操作系统。专业地讲,DataWorks是一个提供了大数据OS能力、并以all in one box的方式提供专业高效、安全可靠的一站式大数据智能云研发平台。她不仅能令用户通过全可视化的方式调度MaxCompute和Blink开展研发工作,还对租户,账户,计量,计费,调度,运维,监控,安全、质控、分享等功能作了封装,让用户几乎通过零研发成本即可完成所
- 下一篇
Apache Shiro在web开发安全技术中的应用
前阶段就hadoop的分享了一些内容,希望对新手入门的朋友有点帮助吧!对于hadoop新手入门的,还是比较推荐大快搜索的DKHadoop发行版,三节点标准版还是值得拥有的(三节点的标准版是可以免费下载的,与付费版的目前功能一样,只是节点数量不同,对于新手而言三节点的够用了)。正在学习hadoop可以下载一下研究学习之用,也可以留言向我索要! 今天准备分享一下Apache Shiro 在web开发中的应用。shiro安全框架是目前为止作为登录注册最常用的框架,因为它十分的强大简单,提供了认证、授权、加密和会话管理等功能 。 shiro能做什么? 认证:验证用户的身份 授权:对用户执行访问控制:判断用户是否被允许做某事 会话管理:在任何环境下使用 Session API,即使没有 Web 或EJB 容器。 加密:以更简洁易用的方式使用加密功能,保护或隐藏数据防止被偷窥 Realms:聚集一个或多个用户安全数据的数据源 单点登录(SSO)功能。 为没有关联到登录的用户启用 "Remember Me“ 服务 Shiro 的四大核心部分 Authentication(身份验证):简称为“登录”...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- MySQL8.0.19开启GTID主从同步CentOS8
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS7设置SWAP分区,小内存服务器的救世主