您现在的位置是：首页 > 文章详情

Spark中的内存管理(一)

日期：2018-12-22点击：571收藏

一个Spark应用运行的过程如下所示:
_2018_12_23_8_17_04

Driver
用户的主程序提交到Driver中执行，在Driver中创建SparkContext，SparkContext初始化DAGScheduler和TaskScheduler，作为coordinator负责从AppMaster申请资源，并将作业的Task调度到Executor上面执行。

在yarn-cluster模式下，AppMaster中包含了Driver，在YARN中启动，spark-submit客户端kill掉不影响程序的运行；
在yarn-client模式下，Driver在spark-submit的客户端启动(不在YARN中)，跟AppMaster是分离的，spark-submit客户端kill掉会导致Spark程序挂掉(如spark-sql/spark-shell等都是以yarn-c

原文链接：https://yq.aliyun.com/articles/681729

关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。