Hadoop YARN学习之Hadoop框架演进历史简述-低调大师

Hadoop YARN学习之Hadoop框架演进历史简述

2016-01-20 757

Hadoop YARN学习之Hadoop框架演进历史简述（1）

1. Hadoop在其发展的过程中经历了多个阶段：

阶段0：Ad Hoc集群时代
- 标志着Hadoop的起源，集群以Ad Hoc、单用户方式建立
阶段1：Hadoop on Demand（HOD）
- 是进化过程中的下一个阶段，以一种通用系统的形式，在商用硬件组成的共享集群上提供和管理私有Hadoop MapReduce和HDFS实例。
阶段2：共享计算集群的黎明
- 始于大量Hadoop安装转向与共享HDFS实例一起的共享MapReduce集群。
阶段3：YARN的出现
- 用以解决以往架构的需求和缺陷

2. YARN的特性：

可扩展性
可维护性
多租户
位置感知
高集群使用率
安全和可审计的操作
可靠性和可用性
对编程模型多样的支持
灵活的资源模型
向后兼容

微信关注我们

原文链接：https://yq.aliyun.com/articles/70650

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hive (基于hadoop的数据仓库)

1.简介 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。与传统关系数据库相比的优势是：能够处理海量数据。劣势是：它只提供查询功能，不能增、删、改。涉及到分布式计算的任务分发，查询时间在分钟级，不能当实时工具用。运行机理：将sql语句转换为MapReduce任务，让Hadoop处理。 2.查询语句 hive //此命令打开hive的CLI（Command Line Interface）。 show databases;//查询所有的数据库名称。 use db_name;//进入hive后是默认的DB，此命令切换到指定的DB。 show tables;//查询当前db下的所有表的名称。 show tables 'ad*';//查询以'ad'开头的表名。 describe table_name;//查看指定表的结构。 select * from table limit 50;//限制返回结果数，与mysql不同，不能使用 limit from,end 这种形式。 3.执行过程查询开始后控制台会输出一个URL，用于w...

2016-01-21

928

Hadoop YARN学习之核心概念（2） 1. Hadoop 2.X YARN引入的新服务 1.1 新的ResourceManager纯碎作为资源调度器，是集群资源的唯一仲裁者； 1.2 用户应用程序（包括MapReduce作业），通过一个新的ApplicationMaster组件请求一定的资源，与Resource协商； 1.3 从而在集群中创建该应用的Container； 2. YARN的引入不会影响Hadoop运行MapReduce作业的能力；YARN提供了使用非MapReduce框架的新能力，为Hadoop生态系统增加了很多新的特性（如SPARK）。 3. YARN三大组件 ResourceManager 是纯粹的资源调度器，它根据应用程序的资源请求严格限制系统的可以资源。 ApplicationMaster 实际上是一个特定框架库的一个实例，负责与ResourceManager协商资源，并和NodeManager协同工作来执行和监控Container以及它们的资源消耗。 Container Container是一种资源分配形式，是ResourceManager为Resourc...

2016-01-21

609

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。