Hadoop MapReduce概念学习系列之MapReduce 资源组织方式（六）-低调大师

Hadoop MapReduce概念学习系列之MapReduce 资源组织方式（六）

2017-11-12 547

　MapReduce计算框架并没有直接调用CPU和内存等多维度资源，它把多维度资源抽象为“slot”，用“slot” 来描述资源的数量。管理员可以在每个节点上单独配置slot个数。slot可以分为map slot和reduce slot。从一定程度上，slot可以看做“任务运行并行度”。如果某个节点配置了5个map slot，那么这个节点最多运行5个Map Task；如果某个节点配置了3个reduce slot，那么该节点最多运行3个Reduce Task。下面我们分别介绍 Map slot和Reduce slot。

1、Map slot

1)Map slot 可用于运行Map Task 的资源，而且只能运行Map Task。

2)每个Map Task通常使用一个map slot。而比如像容量调度器，它可以有比较大的MapTask。这样的MapTask使用内存比较多，那么它可能使用多个map slot。

2、Reduce slot

1)Reduce slot 可用于运行ReduceTask，而且只能运行ReduceTask。

2)每个ReduceTask通常使用一个reduce slot。而比如像容量调度器，它可以有比较大的 ReduceTask。这样的ReduceTask使用内存比较多，那么它可能使用多个reduce slot。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5058725.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/371729

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

关于64位Linux编译hadoop2

Apache官方提供hadoop2的安装包是在32位机器下编译的，生产环境一般使用64的Linux，那么需要在64位机器下重新编译可以查看hadoop-2.2.0-src下的BUILDING.txt Build instructions for Hadoop ---------------------------------------------------------------------------------- Requirements: * Unix System * JDK 1.6+ * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) * ProtocolBuffer 2.5.0 * CMake 2.6 or newer (if compiling native code) * Internet connection for first build (to fetch all Maven and Hadoop dependencies) ---------------------------------...

2017-11-13

562

应用场景当我们按照hadoop伪分布式集群搭建博客搭建了hadoop以后，发现这是一个空的hadoop，只有YARN，MapReduce，HDFS，而这些实际上我们一般不会直接使用，而是需要另外部署Hadoop的其他组件，来辅助使用。比如我们把数据存储到了hdfs，都是文件格式，用起来肯定不方便，用HIVE把数据从HDFS映射成表结构，直接用sql语句即可操作数据。另外针对分布式数据计算算法MapReduce，需要直接写MapReduce程序，比较复杂，此时使用Hive，就可以通过写SQL语句，来实现MapReduce的功能实现。操作步骤 1. 安装mysql 安装mysql，配置远程登录，具体参考mysql章节并配置可以远程登录mysql 2. 下载hive2.1并解压配置环境变量下载hive2.1 解压到opt目录下，更换目录为hive-2.1.1 # tar zxvf apache-hive-2.1.1-bin.tar.gz # mv apache-hive-2.1.1-bin hive-2.1.1 配制系统环境变量： # vim /etc/profile export ...

2017-11-13

498

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。