spark shuffle服务开启
在提交了一个spark任务后,发现卡在了这一步,看意思是不打算分配资源给这个任务了。看字面意思是RM已经收到了请求,只是不给它而已,就有两种可能 一是资源不足,而是没联系上AM。然后下面告诉我们压根就没发现nodemanager 在启动Hadoop之后,发现nodemanager节点并未启动起来,于是对Hadoop进行初始化并启动,但发现启动Hadoop的时候节点正常,nodemanager节点依然会挂掉。 2018-09-19 15:15:57,961 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManagerjava.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.spark.network.yarn.YarnShuffleService not found at org.apache.hadoop.conf.Co...