如何使用X-Pack Spark的YarnUI、SparkUI、Spark日志、任务运行状况的分析
概述
X-Pack Spark目前是通过Yarn管理资源,在提交Spark 任务后我们经常需要知道任务的运行状况,例如在哪里看日志、怎么查看每个Executor的运行状态、每个task的运行状态,性能瓶颈点在哪里等信息。
本文主要介绍如何使用X-Pack Spark的Yarn UI 和Spark Job UI来获取上述的信息。
Yarn UI的介绍
Yarn UI入口
X-Pack Yarn UI入口有两个。
1、从X-Pack Spark集群明细界面入口。如下图,点击“YARN”,进入Yarn UI。
注意:请先阅读“UI访问说明”
2、从“作业管理”中每个作业的运行结果状态显示栏入口。如下图:
注意:请先阅读上图的“UI访问说明”
Yarn UI功能介绍
进入YarnUI后可以看到如下的界面:
界面主要分三个区域。区域1:导航栏;区域2:集群的统计信
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
欢迎加盟云智能数据库BigData NoSQL团队
数据库事业部承载着阿里巴巴及阿里云的数据库服务,为超过数万家中国企业提供专业的数据库服务。我们提供在线事务处理、缓存文档服务、BigData NoSQL服务 、在线分析处理的全栈数据库产品。本团队提供基于Apache HBasePhoenixSparkCassandraSolrES等,结合自研技术,打造存储、检索、计算的一站式的BigData NoSQL自主可控的服务,满足客户的数据驱动业务的诉求。团队拥有多名Apache Committer及Contributor,并且负责中国HBase、Cassandra技术社区。欢迎您的加盟~ 招聘要求: 负责大数据计算引擎的开发工作,统一支持在线与离线的SQL计算(Spark&Phoenix类专家) 负责大数据在线存储引擎的开发工作,统一支持kv、table、json,支持各种index
- 下一篇
使用canal增量同步mysql数据库信息到ElasticSearch
本文介绍如何使用canal增量同步mysql数据库信息到ElasticSearch。(注意:是增量!!!) 1.简介 1.1 canal介绍 Canal是一个基于MySQL二进制日志的高性能数据同步系统。Canal广泛用于阿里巴巴集团(包括https://www.taobao.com),以提供可靠的低延迟增量数据管道,github地址:https://github.com/alibaba/canal Canal Server能够解析MySQL binlog并订阅数据更改,而Canal Client可以实现将更改广播到任何地方,例如数据库和Apache Kafka。 它具有以下功能: 支持所有平台。 支持由Prometheus提供支持的细粒度系统监控。 支持通过不同方式解析和订阅MySQL binlog,例如通过GTID。 支持高性能,实时数据同步。
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS关闭SELinux安全模块
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2整合Redis,开启缓存,提高访问速度
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程