您现在的位置是:首页 > 文章详情

如何使用X-Pack Spark的YarnUI、SparkUI、Spark日志、任务运行状况的分析

日期:2019-06-21点击:903

概述

X-Pack Spark目前是通过Yarn管理资源,在提交Spark 任务后我们经常需要知道任务的运行状况,例如在哪里看日志、怎么查看每个Executor的运行状态、每个task的运行状态,性能瓶颈点在哪里等信息。
本文主要介绍如何使用X-Pack Spark的Yarn UI 和Spark Job UI来获取上述的信息。

Yarn UI的介绍

Yarn UI入口

X-Pack Yarn UI入口有两个。

1、从X-Pack Spark集群明细界面入口。如下图,点击“YARN”,进入Yarn UI。

注意:请先阅读“UI访问说明”
Snip20190619_24

2、从“作业管理”中每个作业的运行结果状态显示栏入口。如下图:

注意:请先阅读上图的“UI访问说明”
Snip20190619_27

Yarn UI功能介绍

进入YarnUI后可以看到如下的界面:
Snip20190621_30
界面主要分三个区域。区域1:导航栏;区域2:集群的统计信

原文链接:https://yq.aliyun.com/articles/706215
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章