首页 文章 精选 留言 我的

精选列表

搜索[多进程],共10007篇文章
优秀的个人博客,低调大师

Hadoop五个进程的作用和联系

1.NameNode: 相当于一个领导者,负责调度 ,比如你需要存一个1280m的文件如果按照128m分块 那么namenode就会把这10个块(这里不考虑副本)分配到集群中的datanode上并记录对于关系 。当你要下载这个文件的时候namenode就知道在那些节点上给你取这些数据了。它主要维护两个map 一个是文件到块的对应关系 一个是块到节点的对应关系。 2. secondarynamenode: 它是namenode的一个快照,会根据configuration中设置的值来决定多少时间周期性的去cp一namenode,记录namenode中的metadata及其它数据 3. NodeManager(NM): 1、是YARN中每个节点上的代理,它管理Hadoop集群中单个计算节点 2、包括与ResourceManger保持通信,监督Container的生命周期管理, 3、监控每个Container的资源使用(内存、CPU等)情况,追踪节点健 4、康状况,管理日志和不同应用程序用到的附属服务(auxiliary service) 4.DataNode: a.DataNode的需要完成的首要任务是K-V存储 b.完成和namenode 通信 ,这个通过IPC 心跳连接实现,此外还有和客户端 其它datanode之前的信息交换。 c.完成和客户端还有其它节点的大规模通信,这个需要直接通过socket 协议实现。 5.ResourceManager: 在YARN中,ResourceManager负责集群中所有资源的统一管理和分配,它接收来自各个节点(NodeManager)的资源汇报信息,并把这些信息按照一定的策略分配给各个应用程序(实际上是ApplicationManager)RM与每个节点的NodeManagers (NMs)和每个应用的ApplicationMasters (AMs)一起工作。 a.NodeManagers 遵循来自ResourceManager的指令来管理单一节点上的可用资源。 b.ApplicationMasters负责与ResourceManager协商资源与NodeManagers合作启动容器 本文转自 DBAspace 51CTO博客,原文链接:http://blog.51cto.com/dbaspace/1874858

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册