MapReduce的编程思想(1)-低调大师

MapReduce的编程思想(1)

2016-04-16 896

MapReduce的过程(2)

1. MapReduce采用分而治之的思想，将数据处理拆分为主要的Map（映射）与Reduce（化简）两步，MapReduce操作数据的最小单位是一个键值对。

2. MapReduce计算框架为主从架构，分别是JobTracker与TaskTracker。

JobTracker在集群中为主的角色，它主要负责任务调度和集群资源监控，并不参与具体的计算。
TaskTracker在集群中为从的角色，它主要负责汇报心跳和执行JobTracker的命令（启动任务、提交任务、杀死人物、杀死作业和重新初始化）。
客户端，用户编写MapReduce程序通过客户端提交到JobTracker。

3. MapReduce作业（job）是指用户提交的最小单位，而Maop/Reduce任务（task）是MapReduce计算的最小单位。

MapReduce作业由JobTracker的作业分解模块分拆为任务交给各个TaskTracker执行，在MapReduce计算框架中，任务分为两种，Map任务和Reduce任务。

4. MapReduce的计算资源划分

Hadoop的资源管理采用了静态资源设置方案，即每个节点配置好Map槽和Reduce槽的数据量，一旦Hadoop启动后将无法动态更改。
TaskTracker能启动的任务数量是由TaskTracker配置的任务槽（slot）决定。
Map任务只能使用Map槽，Reduce任务只能使用Reduce槽。

5. MapReduce的局限性

MapReduce的执行速度慢。
MapReduce过于底层。
不是所有算法都能用MapReduce实现。

MapReduce的过程(2)

微信关注我们

原文链接：https://yq.aliyun.com/articles/70631

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop2.7实战v1.0之Hive-2.0.0+MySQL远程模式安装

环境:Apache Hadoop2.7分布式集群环境(HDFS HA,Yarn HA,HBase HA) 元数据库mysql部署在hadoop-01机器上 user:hive password:hive database:hive_remote_meta hive服务端部署在hadoop-01机器上 hive客户端部署在hadoop-02机器上 1.Install MySQL5.6.23 on hadoop-01 2.Create db and user hadoop-01:mysqladmin:/usr/local/mysql:>mysql -uroot -p mysql> create database hive_remote_meta; Query OK, 1 row affected (0.04 sec) mysql> create user 'hive' identified by 'hive'; Query OK, 0 rows affected (0.05 sec) mysql> grant all privileges on hive_remot...

2016-04-16

800

MapReduce的编程思想(1) MapReduce的过程(2) 1. MapReduce从输入到输出一个MapReduce的作业经过了input、map、combine、reduce、output五个阶段。其中combine阶段不一定发生，map输出的中间结果被分发到reduce的过程称为shuffle（数据混洗）。 shuffle阶段会发生copy（复制）和sort（排序）。 Reduce任务默认在Map任务数量完成5%才开始启动。 2. input HDFS上的文件作为MapReduce的输入，org.apache.hadoop.mapreduce.InputFormat类的子类FileInputFormat类将作为输入的HDFS上的文件切分形成输入分片（InputSplit），每个InputSplit将作为一个Map任务的输入，再将InputSplit解析为键值对。 InputSplit只是对数据逻辑上的分片，不会在磁盘上将文件切分、存储。 - 元数据信息由文件路径、文件开始的位置、文件结束的位置、数据块所在的host4部分组成。 InputSplit的数量=文件大小/I...

2016-04-16

725

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。