Hadoop 版本演进

Hadoop版本演进概况:


备注:NameNode HA : NameNode高可用 , HDFS Fedreation 分布式文件系统联盟 解决了1带的单点问题

         Yarm 分布式资源管理系统,解决JobTrack单点问题
        


1. hadoop 1.x 版本的生态系统:


2. hadoop 2.x版本的生态系统:



对于分布式系统和框架的架构来说,一般分为两部分:

第一部分:管理层(用于管理应用层)
第二部分:应用层 (工作的)


对于HDFS,分布式文件系统:

    NameNode:    属于管理层,用于管理数据的存储
    
    SecondNameNode:也属于管理层,用于辅助管理数据的存储

    DateNode:属于 应用层 ,用户进行数据存储,被NameNode管理,定时向NameNode进行工作汇报,执行NameNode分配分发的任务


对于MapReduce,分布式计算框架:

    JobTrack : 属于管理层,用于管理集群的资源,对集群的任务资源进行调度,并监控任务的执行。

    TaskTrack: 属于应用层,用于执行JobTrack分配分发的任务,并向JobTrack汇报执行情况。


对于hadoop 二代版本的yarm系统:
    NodeManager :属于管理层,节点管理
    
    ResourceManager:属于管理层, 资源管理

    DataNode:属于应用层,被 NodeManager  和  ResourceManager管理,执行任务。
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/287820

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。