map-reduce任务的执行流程-低调大师

map-reduce任务的执行流程

2015-03-25 702

(1).客户端提交一个mr的jar包给JobClient(提交方式：hadoop jar ...)
(2).JobClient通过RPC和JobTracker进行通信，返回一个存放jar包的地址（HDFS）和jobId
(3).client将jar包写入到HDFS当中(path = hdfs上的地址 + jobId)
(4).开始提交任务(任务的描述信息，不是jar, 包括jobid，jar存放的位置，配置信息等等)
(5).JobTracker进行初始化任务
(6).读取HDFS上的要处理的文件，开始计算输入分片，每一个分片对应一个MapperTask
(7).TaskTracker通过心跳机制领取任务（任务的描述信息）
(8).下载所需的jar，配置文件等
(9).TaskTracker启动一个java child子进程，用来执行具体的任务（MapperTask或ReducerTask

）
(10).将结果写入到HDFS当中

微信关注我们

原文链接：https://yq.aliyun.com/articles/667823

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

CentOS 64位上编译 Hadoop2.6.0

由于hadoop-2.6.0.tar.gz安装包是在32位机器上编译的，64位的机器加载本地库.so文件时会出错，比如： java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V 所以需要重新编译 1.编译环境 yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst 2.安装JDK(下载JDK1.7，只能用1.7，否则编译会出错) 下载页面: http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html tar -zxvf jdk-7u75-linux-x64.tar.gz -C /usr/local expo...

2015-03-26

695

讨论内容昨天的架构基本确定成如下图所示：针对此架构，大家分别提了不同的看法：【大侠】秦刘 9:53:58 工作节点的爬虫应该就是普通的一个cmd形式的小程序，对不对？【大侠】秦刘 9:54:38 webapp的作用应该只是这个【大侠】大常 9:55:11 这个是什么的设计图？【大侠】大常 9:55:16 怎么有点看不太懂呢？【师兄】深简 9:56:07 感觉看懂了。【师兄】深简 9:56:11 【宗师】北张9:56:28 对【掌门】广杨 9:56:33 感觉像不像webmvc的思路【大侠】大常 9:57:11 老大我后面问的那个图是大概的模块耦合关系么？【大侠】秦刘 9:57:31 我感觉webmvc管理master,master和工作节点类似Hadoop的心跳【掌门】广立 9:57:33 【宗师】北张9:58:26 那就是cdoop和上边的四个同级？【大侠】秦刘 9:59:13 cdoop什么含义？【路人】四玖 9:59:30 我说这一坨都基于PLUGIN 【宗师】北张9:59:37 主要是分布式，参考hadoop 【路人】四玖 9:59:38 会被...

2015-03-27

707

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。