hadoop from rookie to ninja - 1. Basic Architecture(基础架构)-低调大师

hadoop from rookie to ninja - 1. Basic Architecture(基础架构)

2017-08-09 565

1. Daemons(守护进程)

新老架构

老的:

Apache Hadoop 1.x (MRv1)

新的:

Apache Hadoop 2.x (YARN)-Yet Another Resource Negotiator

1-1) Apache Hadoop 1.x (MRv1) 包含如下后台进程:

• Namenode (名称节点)

• Secondary namenode (第二名称节点)

• Jobtracker (工作跟踪器)

• Datanode (数据节点)

• Tasktracker (任务跟踪器)

a) 所有的后台进程是运行在自己的JVM虚拟机中的Java服务。

b) 主从模式

namenode 和 jobtracker 是 master daemons

datanode 和 tasktracker 是 slave daemons

2. NameNode(名称节点)

2-1) 名称节点是master daemon, 它负责存储HDFS文件系统上所有文件的位置信息。

名称节点从不存储实际数据，换句话说，它存储所有的元数据(metadata)。

(备注: 元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），

主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。）

2-2) 名称节点在内存(RAM)中维护所有的元数据，这样客户端可以快速得到请求它的响应。

因此，需要在有较多内存分配的服务器上运行名称节点。(非常重要!!)

HDFS中的文件数量越多，名称节点所消耗的内存也越高。

2-3) 由于在内存中存储元数据信息，因此名称节点后台进程也同时在硬盘上存储了一个用来持久化元数据的检查点文件，该文件名叫fsimage。

每当集群中的文件发生新增/删除/更新操作的时候，动作信息会被更新到一个叫做edits log的日志文件中。

更新完日志后，内存中的元数据信息也会相应地更新。

需要注意的是: fsimage文件不会针对每次写操作进行更新。

有人要问，如果名称节点的后台进程重启了怎么办，信息不都在内存中吗？丢失了呀！

答案是不会，下列操作会发生：

1. 从磁盘上读取fsimage文件的信息并把它加载到内存。

2. 从edits log读取所有的操作信息，并把它还原到内存中。

3. 最后把修改后的内存中的信息再写入磁盘上的fsimage文件。

2-4) Hadoop 1.x名称节点的弱点以及Hadoop 2.x的改进

a. Hadoop 1.x里的名称节点是单节点的，因此，如果该服务器宕机了的话，整个HDFS文件系统将不可使用了。

为了解决这种情况，以前管理员需要配置下，把fsimage同时写到本地磁盘和网络上的远程磁盘。

那台新备份的机器其实相当于冷备份，在名称节点宕机的时候可以临时启动。

b. Hadoop 2.x支持高可用(High Availability - HA)

部署2台名称节点的服务器, 分别是active和passive, 如果active的那台服务器宕机了, passive的那台服务器会接管

控制权，相当于双机热备份。

3. Secondary namenode(第二名称节点)

微信关注我们

原文链接：https://yq.aliyun.com/articles/303374

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

中桥国际：2015年中国市场10大热点预测

ZDNET至顶网CIO与应用频道 01月04日北京消息：在过去2年里，中桥调研咨询针对中国数千人次的最终用户做了大量调研。综合这些调研数据和分析，中桥认为以下10点将是2015 年的IT大热点，并驱动着中国市场IT投资和IT管理流程的变革。在中国经济快速从资源密集型、劳动密集型向服务驱动转型的过程中，新IT在快速成为数字经济的新引擎，改变着传统行业格局和产业链价值的再分配。 1.云计算是企业级IT投资的第一重点云演进在快速成为企业级IT投资战略重点，以完成从传统IT架构管理到IT服务交付的转型，应对IT对业务响应速度和支撑能力的需求。中桥调研显示，未来12个月，私有云将持续成为企业级用户的IT投资第一重点。中国公有云正在从市场教育，进入公有云建设前期。未来12个月占比较高的公有云，主要用于降低短期项目（测试开发）成本，以及对周期性资源短缺（零售峰期）和激增流量进行资源补充。中国市场刺激混合云需求的两大主要驱动力为：（1）新应用部署和企业应用现代化。新应用部署过程中，用户常常将边缘应用云化，数据库持续基于现有数据中心资源。企业应用云服务和移动应用功能外延过程中，用户往往依托现有数据...

2017-08-10

560

至顶网服务器频道 05月10日新闻消息：日前，在业内处于领先地位的联想X6服务器平台再次创造10项行业性能基准测试世界纪录，其中，除了在6项性能测试中继续保持优势，还连续创造两项新的SAP世界纪录、一项新的Java世纪记录和一项新的SPECcpu基准测试世界纪录。至此，联想X6服务器保持的世界纪录总数达到了34项，延续了其自2014年推出以来在各种基准测试中排名第一和创造世界纪录的领先优势。联想X6解决方案为关键任务应用提供了一个强大的平台，具有快速、灵敏和弹性强的优势，能确保客户获得出色的可靠性、可管理性、可扩展性以及运行Windows或Linux的灵活性。联想System x3850 X6及x3950 X6能提供最优质的性能，最大程度保证应用正常运行。此次性能基准测试结果再一次证明，联想一直不断精进产品技术研发，利用先进的云基础架构、大数据和分析解决方案，帮助客户实现数据中心转型。四项新纪录诞生联想X6表现抢眼在此次公布的10项性能基准测试记录里，联想X6收获了四项新纪录，分别是两项SAP基准测试世界纪录，包括业务处理（Business Processing）类（SAP ...

2017-08-10

578

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。