hadoop之 Hadoop1.x和Hadoop2.x构成对比-低调大师

hadoop之 Hadoop1.x和Hadoop2.x构成对比

2017-11-11 548

Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker；

Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN；运行时环境为YARN

　　1、HDFS：HA、NameNode Federation

　　2、MapReduce/其他计算框架：运行在YARN之上的MapReduce通常称之为MapReduce2.0（MRv2）

　　3、YARN：资源管理系统（Yet Another Resource Negotiator），在其之上可以运行各种计算框架，如：MapReduce、Storm、Spark等；

HDFS2.0

解决HDFS1.0中单点故障和内存受限问题

解决单点故障： HDFS HA（High Available）

　　通过主备NameNode，当主NameNode发生故障时则切换到备NameNode；

解决内存受限问题： HDFS Federation

　　水平扩展，支持多个NameNode；

　　每个NameNode分管一部分目录；不同的NameNode可以分管不同的应用；

　　所有NameNode共享所有DataNode存储的资源；

HDFS2.0和HDFS1.0相比、仅是架构上发生了变化，使用方式不变，对HDFS使用者来说是透明的。比如说hdfs shell命令：

hadoop fs -ls /luogankun

hadoop fs -mkdir /luogankun/data

在HDFS1.0和HDFS2.0中用法是一致的。

YARN

Hadoop2.0新引入的资源管理系统

YARN核心思想：将MRv1中JobTracker的资源管理和任务调度分开，分别由ResourceManager和ApplicationMaster进程实现；

ResourceManager：负责整个集群的资源管理；整个集群只有一个；

ApplicationMaster：负责应用程序相关的事务，比如：任务调度、任务监控和任务容错；一个应用程序对应一个ApplicationMaster；

YARN引入的好处：使得多个计算框架可以运行在一个集群中，比如：MapReduce、Spark、Storm等；

MapReduce On YARN

运行在YARN之上的MapReduce称为MRv2；

将MapReduce作业直接运行在YARN上，而不是运行在由JobTracker和TaskTracker构建的MRv1之上；在Hadoop2.0中并不存在JobTracker和TaskTracker；

MRv2的模块基本功能：

1、YARN：负责资源管理和调度；

2、MRAppMaster：负责一个应用程序/作业的任务切分、任务调度、任务监控和容错；

3、Map/Reduce Task：任务驱动引擎，与MRv1一致；

每个应用程序/作业对应一个MRAppMaster，所以：

1、单个应用程序/作业运行失败，不会影响其他应用程序/作业；

2、负责应用程序/作业相关的事务，包括将从YARN分配得到的资源二次分配给内部的任务、任务切分、任务健康和容错等；

source : http://www.cnblogs.com/luogankun/p/3886989.html

文章可以转载，必须以链接形式标明出处。

本文转自张冲andy 博客园博客，原文链接： http://www.cnblogs.com/andy6/p/7679184.html ，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/566055

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hadoop之 Hadoop 2.x HA 、Federation

HDFS2.0之HA 主备NameNode： 1、主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换； 2、主NameNode的信息发生变化后，会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中； 3、所有DataNode同时向两个NameNode发送心跳信息（块信息）；两种切换方式： 1、手动切换：通过命令实现主备之间的切换，可以用于HDFS升级等场合； 2、自动切换：基于Zookeeper实现； Zookeeper Failover Controller：向Zookeeper注册NameNode并监控NameNode健康状态，当NM挂掉后，ZKFC为NameNode竞争锁，获得锁的NameNode变成active；多种共享数据存储系统可供选择 1、NFS 2、多个Journal Node构成集群（推荐）基本原理，数据同时写入所有的JN，多数写入成功，则认为写成功；一般配置奇数个JN，JN越多，容错性越好；比如有3个JN，只要两个写成功，则数据写成功，最多允许一个JN挂掉； 3、Bookeeper 相对于hadoop1....

2017-11-12

640

简要说明：elasticsearch安装好后需要安装相应的插件Head ,Kopf与Bigdesk，才能更好的实现各种功能，一下就是这三种插件安装的基本步骤（一）安装ElasticSearch-Head ElasticSearch-Head 是一个与Elastic集群（Cluster）相交互的Web前台。 ES-Head的主要作用：它展现ES集群的拓扑结构，并且可以通过它来进行索引（Index）和节点（Node）级别的操作它提供一组针对集群的查询API，并将结果以json和表格形式返回它提供一些快捷菜单，用以展现集群的各种状态安装方分为：在线安装和手动安装（1）在线安装 [appuser@zabbixelasticsearch]$./bin/plugininstallmobz/elasticsearch-head ->Installingmobz/elasticsearch-head... Tryinghttps://github.com/mobz/elasticsearch-head/archive/master.zip... Downloading...........

2017-11-12

672

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。