Hadoop YARN学习之Hadoop框架演进历史简述
Hadoop YARN学习之Hadoop框架演进历史简述(1)
1. Hadoop在其发展的过程中经历了多个阶段:
- 阶段0:Ad Hoc集群时代
- 标志着Hadoop的起源,集群以Ad Hoc、单用户方式建立
- 阶段1:Hadoop on Demand(HOD)
- 是进化过程中的下一个阶段,以一种通用系统的形式,在商用硬件组成的共享集群上提供和管理私有Hadoop MapReduce和HDFS实例。
- 阶段2:共享计算集群的黎明
- 始于大量Hadoop安装转向与共享HDFS实例一起的共享MapReduce集群。
- 阶段3:YARN的出现
- 用以解决以往架构的需求和缺陷
2. YARN的特性:
- 可扩展性
- 可维护性
- 多租户
- 位置感知
- 高集群使用率
- 安全和可审计的操作
- 可靠性和可用性
- 对编程模型多样的支持
- 灵活的资源模型
- 向后兼容
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
hive (基于hadoop的数据仓库)
1.简介 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能。 与传统关系数据库相比的优势是:能够处理海量数据。 劣势是:它只提供查询功能,不能增、删、改。涉及到分布式计算的任务分发,查询时间在分钟级,不能当实时工具用。 运行机理:将sql语句转换为MapReduce任务,让Hadoop处理。 2.查询语句 hive //此命令打开hive的CLI(Command Line Interface)。 show databases;//查询所有的数据库名称。 use db_name;//进入hive后是默认的DB,此命令切换到指定的DB。 show tables;//查询当前db下的所有表的名称。 show tables 'ad*';//查询以'ad'开头的表名。 describe table_name;//查看指定表的结构。 select * from table limit 50;//限制返回结果数,与mysql不同,不能使用 limit from,end 这种形式。 3.执行过程 查询开始后控制台会输出一个URL,用于w...
- 下一篇
Hadoop YARN学习之核心概念(2)
Hadoop YARN学习之核心概念(2) 1. Hadoop 2.X YARN引入的新服务 1.1 新的ResourceManager纯碎作为资源调度器,是集群资源的唯一仲裁者; 1.2 用户应用程序(包括MapReduce作业),通过一个新的ApplicationMaster组件请求一定的资源,与Resource协商; 1.3 从而在集群中创建该应用的Container; 2. YARN的引入不会影响Hadoop运行MapReduce作业的能力;YARN提供了使用非MapReduce框架的新能力,为Hadoop生态系统增加了很多新的特性(如SPARK)。 3. YARN三大组件 ResourceManager 是纯粹的资源调度器,它根据应用程序的资源请求严格限制系统的可以资源。 ApplicationMaster 实际上是一个特定框架库的一个实例,负责与ResourceManager协商资源,并和NodeManager协同工作来执行和监控Container以及它们的资源消耗。 Container Container是一种资源分配形式,是ResourceManager为Resourc...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2全家桶,快速入门学习开发网站教程
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- MySQL8.0.19开启GTID主从同步CentOS8