您现在的位置是:首页 > 文章详情

史上最快! 10小时大数据入门实战(四)-分布式资源调度YARN

日期:2018-06-22点击:369
img_081b7b52874b3d64f1c3bcca356ef7d0.png

1 YARN 产生背景

img_1d1b5340c96210e403b8bacfb7d5d342.png

img_2a8c6e4a2363d1b2c0a1a5b54ace6b6a.png

img_afdd9a6b14de475aa359a36642a1dab7.png

img_58c71cd5e96c728209f434e50f1d8822.png

img_0e537367da2da70ef88690fc38271d8d.png

img_05ef4110ff658a8443633220b0bc5c82.png

2 YARN 架构

img_6cc914aecc64a39654a97f8b52b2e056.png

img_efe64868333b075d28deb35aa62a62d6.png

img_77bd1858a9cea62e6bfb257fabc05238.png

3 YARN 执行流程

img_e7211473e7eda4e4894dbac3dd3a9290.png

img_0dc1ad7a3efbdf93b7b31a160cb65b97.png

1.client向yarn提交job,首先找ResourceManager分配资源,
2.ResourceManager开启一个Container,在Container中运行一个Application manager
3.Application manager找一台nodemanager启动Application master,计算任务所需的计算
4.Application master向Application manager(Yarn)申请运行任务所需的资源
5.Resource scheduler将资源封装发给Application master
6.Application master将获取到的资源分配给各个nodemanager
7.各个nodemanager得到任务和资源开始执行map task
8.map task执行结束后,开始执行reduce task
9.map task和 reduce task将执行结果反馈给Application master
10.Application master将任务执行的结果反馈pplication manager。

4 YARN 环境搭建

5 提交 PI 的 MapReduce 作业到 TARN 上执行

img_bd6bf584380092a29885c57aecf3d363.png
原文链接:https://yq.aliyun.com/articles/635940
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章