0017-Spark的HistoryServer不能查看到所有历史作业分析
1.问题描述
Spark的HistoryServer能正常查看之前的历史作业日志，但新提交的作业在执行完成后未能在HistoryServer页面查看。
2.问题复现
1.分别使用root和ec2-user用户执行作业
2.通过sparkHistory Server可以正常查看到所有历史作业
3.将/user/spark/applicationHistory目录的所属组修改为supergroup，再次执行作业
sudo –u hdfs hadoop dfs –chown spark:supergroup /user/spark/applicationHistroy
作业执行完成
HDFS上正常记录了spark作业日志，但作业所属group为supergroup
sparkHistoryServer报异常，没有权限访问历史job目录
4.在History Server未查看到刚执行完成的007作业
3.问题原因
由于/user/spark/applicationHistory目录的所属组为supergroup，导致所有用户作业的目录均为supergroup组，之前能正常查看的历史作业由于目录的所属组任为spark。
4.解决方法
将/user/spark/applicationHistory目录及该目录下的子目录所属组修改为spark
sudo –u hdfs hadoop dfs –chgrp –R spark /user/spark/applicationHistory
修改后所有历史作业均可正常查看
