Hadoop五个进程的作用和联系-低调大师

Hadoop五个进程的作用和联系

2017-11-11 567

1.NameNode:

相当于一个领导者，负责调度，比如你需要存一个1280m的文件如果按照128m分块那么namenode就会把这10个块（这里不考虑副本）分配到集群中的datanode上并记录对于关系。当你要下载这个文件的时候namenode就知道在那些节点上给你取这些数据了。它主要维护两个map 一个是文件到块的对应关系一个是块到节点的对应关系。

2. secondarynamenode：

它是namenode的一个快照，会根据configuration中设置的值来决定多少时间周期性的去cp一namenode，记录namenode中的metadata及其它数据

3. NodeManager（NM）:

1、是YARN中每个节点上的代理，它管理Hadoop集群中单个计算节点

2、包括与ResourceManger保持通信，监督Container的生命周期管理，

3、监控每个Container的资源使用（内存、CPU等）情况，追踪节点健

4、康状况，管理日志和不同应用程序用到的附属服务（auxiliary service）

4.DataNode:

a.DataNode的需要完成的首要任务是K-V存储

b.完成和namenode 通信，这个通过IPC 心跳连接实现，此外还有和客户端其它datanode之前的信息交换。

c.完成和客户端还有其它节点的大规模通信，这个需要直接通过socket 协议实现。

5.ResourceManager:

在YARN中，ResourceManager负责集群中所有资源的统一管理和分配，它接收来自各个节点（NodeManager）的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序（实际上是ApplicationManager）RM与每个节点的NodeManagers (NMs)和每个应用的ApplicationMasters (AMs)一起工作。

a.NodeManagers 遵循来自ResourceManager的指令来管理单一节点上的可用资源。

b.ApplicationMasters负责与ResourceManager协商资源与NodeManagers合作启动容器

本文转自 DBAspace 51CTO博客，原文链接:http://blog.51cto.com/dbaspace/1874858

微信关注我们

原文链接：https://yq.aliyun.com/articles/515635

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

spark过程

scala配置 1、下载解压包 tar -xvf scala-2.10.4.tgz -C /usr/local/ 2、包重命名为scala 3、配置环境变量 export SCALA_HOME=/usr/local/scala export PATH=$PATH:/usr/local/scala/bin 4、执行生效source /etc/profile ##验证配置 scala -version 得到 Scala code runner version 2.10.4 -- Copyright 2002-2013, LAMP/EPFL 如果得到以上这句话，恭喜你，scala配置成功！ maven配置 1、下载解压包 tar -xvf apache-maven-3.3.9-bin.tar.gz -C /usr/local/ 2、包重命名为maven 3、配置环境变量/etc/profile export MAVEN_HOME=/usr/local/maven export PATH=$PATH:/usr/local/maven/bin export MAVEN_OPTS="-Xms256...

2017-11-12

490

#HIVE可以在任意节点搭建，实验在master 链接：http://pan.baidu.com/s/1i4LCmAp 密码：302xhadoop+hive下载 ##原封不动的复制，必死无疑，请根据实际填写相关参数和路径 1、 Hive的基础设施 a、基于已经搭建好的hadoop b、下载hive版本，注意和hadoop对应起来 2、安装hive a、下载好的包解压到/usr/local/命名为hive tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/local cd /usr/local mvapache-hive-1.2.1-bin hive b、设置环境变量 vim/etc/profile exportHIVE_HOME=/usr/local/hive exportHIVE_CONF_DIR=/usr/local/conf exportPATH=$PATH:$HIVE_HOME/bin exportHIVE_LIB=$HIVE_HOME/lib 到此就可以启动hive [root@mycat ~]# hive Logging init...

2017-11-12

593

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。