您现在的位置是:首页 > 文章详情

CCAH-CCA-500-4题:Where are Hadoop task log files stored?

日期:2016-04-29点击:586
4.Where are Hadoop task log files stored?

For each YARN job, the Hadoop framework generates task log file. Where are Hadoop task log files stored?

A.
Cached by the NodeManager managing the job containers, then written to a log directory on the NameNode
B. Cached in the YARN container running the task, then copied into HDFS on job completion
C. In HDFS, in the directory of the user who generates the job
D. On the local disk of the slave mode running the task


问题:
   
对于每个yarn job,hadoop框架产生的task日志文件存储在哪个位置上?

解析:
   
1.对于学习hadoop有段时间的和亲手搭建过,就会知道log文件一般 肯定是存储在 local disk(本地磁盘)上,而不是存储在hdfs文件系统中。
    2.一般输出位置由yarn.nodemanager.log-dirs参数设置(Default Path is ${yarn.log.dir}/userlogs)
    <property>
      <name>yarn.nodemanager.log-dirs</name>
      <value>/home/root/workspace-yarn/nm/log</value>
    </property>.
   如果不配置将使得NodeManager进程处于Unhealthy状态,无法提供服务,现象是提交作业时,作业一直处于pending状态无法往下执行,所以必须配置。
原文链接:https://yq.aliyun.com/articles/578863
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章