大数据分享Spark任务和集群启动流程
大数据分享Spark任务和集群启动流程 大数据分享Spark任务和集群启动流程,Spark集群启动流程1.调用start-all.sh脚本,开始启动Master2.Master启动以后,preStart方法调用了一个定时器,定时检查超时的Worker后删除3.启动脚本会解析slaves配置文件,找到启动Worker的相应节点.开始启动Worker4.Worker服务启动后开始调用preStart方法开始向所有的Master进行注册5.Master接收到Worker发送过来的注册信息,Master开始保存注册信息并把自己的URL响应给Worker6.Worker接收到Master的URL后并更新,开始调用一个定时器,定时的向Master发送心跳信息任务提交流程1.Driver端会通过spark-submit脚本启动SaparkSubmit进程,此时创建了一个非常重要的对象(SparkContext),开始向Master发送消息2.Master接收到发送过来的信息后开始生成任务信息,并把任务信息放到一个对列里3.Master把所有有效的Worker过滤出来,按照空闲的资源进行排序4.Mas...