标题:DKhadoop大数据处理平台监控数据介绍
标题:DKhadoop大数据处理平台监控数据介绍
2018年国内大数据公司50强榜单排名已经公布了出来,大快以黑马之姿闯入50强,并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》,继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。
DKhadoop大数据处理平台架构的安装相关文章已经分享过,详细的内容可以找一下看看。在上一篇中已经就集群平均负载、集群磁盘使用情况、HDFS监控界面、Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完,关于大快大数据处理平台监控参数的介绍就完整了。
1、Yarn监控界面
(1) 执行失败的应用程序
监控 yarn资源管理中总执行失败的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(2)已提交的应用程序
监控 yarn资源管理中已提交的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(3)正在运行的应用程序
监控 yarn资源管理中正在运行的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(4) 等待执行的应用程序
监控 yarn资源管理中等待执行的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(5)已完成的应用程序
监控 yarn资源管理中已完成的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(6)被kill的应用程序
监控 yarn资源管理中被杀死的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
2、Spark监控界面
注意:(spark 运行任务后才有监控数据)
(1) 最大可使用内存
监控 Spark 集群中最大可使用的内存
纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(2)已使用的内存
监控 Spark 集群中已经使用的内存
纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(3)剩余内存
监控 Spark 集群中剩余的内存
纵轴表示内存容量,单位(MB)
横轴表示时间,单位分钟
(4)Spark中任务数量
监控 Spark 集群中任务数量
纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(5)Spark中正在运行的任务数量
监控 Spark中正在运行的任务数量
纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(6)正在运行的stage数量
监控 Spark集群中正在运行的stage数量
纵轴表示stage数量,单位个
横轴表示时间,单位分钟
(7)失败的stage数量
监控 Spark集群中运行失败的stage数量
纵轴表示stage数量,单位个
横轴表示时间,单位分钟
(8)准备就绪的stage数量
监控 Spark集群中准备就绪的stage数量
纵轴表示stage数量,单位个
横轴表示时间,单位分钟
备注:
(横轴的时间表示采集时间,一般是1分钟一次)
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
中国HBase技术社区第六届MeetUp ——HBase典型应用场景与实践
HBase—Hadoop Database是一个分布式的、面向列的开源数据库,该技术来源于Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。HBase的特点是高可靠性、高性能、面向列、可伸缩的分布式存储系统,如今HBase已经广泛应用于各互联网行业。那么我们如何熟练掌握HBase技术及应用呢? 2018年10月20号,由中国HBase技术社区、DataFun社区联合猫友会、腾讯众创空间主办的中国第六届HBase Meetup将来到武汉,届时来自阿里巴巴、阿里云及烽火集成等公司HBase的专家们,将为大家分享HBase技术的典型应用场景及实践。 主办方:中国HBase技术社区、DataFun社区 联合主办方:猫友会、腾讯众创空间 合作伙伴:极客邦科技、掘金社区 视频支持:IT大咖说 时间:201
- 下一篇
使用Apache Impala(CDH6)查询OSS的数据
CDH6 目前CDH的最新版本是6.0.1,支持Hadoop 3.0.0,本文将介绍如何使CDH6的相关组件(Hadoop/Hive/Spark/Impala等)能够读写OSS。CDH5对OSS的支持在这篇文章介绍。 CDH6支持读写OSS 搭建CDH集群 首先根据官方文档搭建好CDH6集群 增加OSS配置 通过CM来增加配置(对于没有CM管理的集群,可以通过修改core-site.xml来达到)这里以CM为例,需要增加如下配置: 配置项 值 说明 fs.oss.endpoint 如 oss-cn-zhangjiakou-internal.aliyuncs.com 要连接的endpoint fs.oss.accessKeyId access key id fs.oss.accessKeySecret access key secret fs.oss.impl org
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- CentOS关闭SELinux安全模块
- Linux系统CentOS6、CentOS7手动修改IP地址
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- 设置Eclipse缩进为4个空格,增强代码规范
- Windows10,CentOS7,CentOS8安装Nodejs环境