map-reduce任务的执行流程
(2).JobClient通过RPC和JobTracker进行通信,返回一个存放jar包的地址(HDFS)和jobId
(3).client将jar包写入到HDFS当中(path = hdfs上的地址 + jobId)
(4).开始提交任务(任务的描述信息,不是jar, 包括jobid,jar存放的位置,配置信息等等)
(5).JobTracker进行初始化任务
(6).读取HDFS上的要处理的文件,开始计算输入分片,每一个分片对应一个MapperTask
(7).TaskTracker通过心跳机制领取任务(任务的描述信息)
(8).下载所需的jar,配置文件等
(9).TaskTracker启动一个java child子进程,用来执行具体的任务(MapperTask或ReducerTask
)
(10).将结果写入到HDFS当中

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
CentOS 64位上编译 Hadoop2.6.0
由于hadoop-2.6.0.tar.gz安装包是在32位机器上编译的,64位的机器加载本地库.so文件时会出错,比如: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V 所以需要重新编译 1.编译环境 yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst 2.安装JDK(下载JDK1.7,只能用1.7,否则编译会出错) 下载页面: http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html tar -zxvf jdk-7u75-linux-x64.tar.gz -C /usr/local expo...
- 下一篇
众推架构的进一步讨论
讨论内容 昨天的架构基本确定成如下图所示: 针对此架构,大家分别提了不同的看法: 【大侠】秦刘 9:53:58 工作节点的爬虫 应该就是普通的一个cmd形式的小程序,对不对? 【大侠】秦刘 9:54:38 webapp的作用应该只是这个 【大侠】大常 9:55:11 这个是什么的设计图? 【大侠】大常 9:55:16 怎么有点看不太懂呢? 【师兄】深简 9:56:07 感觉看懂了。 【师兄】深简 9:56:11 【宗师】北张9:56:28 对 【掌门】广杨 9:56:33 感觉像不像webmvc的思路 【大侠】大常 9:57:11 老大 我后面问的那个图是大概的模块耦合关系么? 【大侠】秦刘 9:57:31 我感觉webmvc管理master,master和工作节点类似Hadoop的心跳 【掌门】广立 9:57:33 【宗师】北张9:58:26 那就是cdoop和上边的四个同级? 【大侠】秦刘 9:59:13 cdoop什么含义? 【路人】四玖 9:59:30 我说这一坨 都基于PLUGIN 【宗师】北张9:59:37 主要是分布式,参考hadoop 【路人】四玖 9:59:38 会被...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Mario游戏-低调大师作品
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS关闭SELinux安全模块
- CentOS7设置SWAP分区,小内存服务器的救世主
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16