Hadoop2源码分析－Hadoop V2初识
1.概述
在完成分析Hadoop2源码的准备工作后，我们进入到后续的源码学习阶段。本篇博客给大家分享，让大家对Hadoop V2有个初步认识，博客的目录内容如下所示：
- Hadoop的渊源
- Hadoop V2部分项目图
- 各个包的功能介绍
本篇文章的源码是基于Hadoop-2.6.0来分析，其他版本的Hadoop的源码可以此作为参考分析。
2.Hadoop的渊源
其实，早年Google的核心竞争力是它的计算平台，Google对外公布的论文有一下内容：
- GoogleCluster
- Chubby
- GFS
- BigTable
-
MapReduce
可见MapReduce并不是Hadoop所独有的功能，之后Apache基金会得到类似的项目，这些项目有隶属于Hadoop项目，分别是：
- ZooKeeper（Chubby）
- HDFS（GFS）
- HBase（BigTable）
- MapReduce（Hadoop 这里是HDFS和MapReduce的统称）
类似于这种思想的开源项目还有很多，如：Yahoo用Pig来处理巨大数据，Facebook用Hive来进行用户行为分析等。Hadoop的两大核心功能分别为HDFS和MapReduce，MapReduce是一个适合做离线计算的框架，它依赖于HDFS，HDFS作为一个分布式文件存储系统，是所有这些项目的基础支撑。下图为HDFS的支撑图，如下图所示：
3.Hadoop V2部分项目图
Hadoop包与包之间依赖的关系较为复杂，究其原因为HDFS提供了一个分布式文件存储系统，该系统提供庞大的API，使得分布式文件系统底层的实现，依赖于某些高层的功能，这些功能互相引用，形成网状的依赖关系。举个例子，如conf包，它用于读取系统配置文件，依赖于fs包，主要是读取相应的配置文件时，需要使用到文件系统，而部分文件系统的功能都被抽象在fs包中。下图时Hadoop V2项目的核心部分依赖包，如下图所示：
后面的章节，主要给大家分享以下几个部分，如：mapreduce，fs，hdfs，ipc，io，yarn。
4.各个包的功能介绍
下面对上图列出来的各个包做下介绍说明，各个包的功能如下所示：
- tools：提供命令行工具，如DistCp，archive等等。
- mapreduce v2:Hadoop V2版本对Map/Reduce的实现。
- filecache：让HDFS拥有本地缓存，以便加快MR的数据访问速度。
- hdfs v2：Hadoop V2的分布式文件系统实现。
- fs：文件系统的抽象包，为支持多种文件系统（有可能还有其他的文件系统）规范统一的文件访问接口。
- ipc：依赖 io 提供的编码和解码功能。
- io：编码和解码数据，以便在网络中传输。
- net：对网络功能进行封装，如Socket。
- conf：配置系统的参数。
- util：工具类。
- ha：配置高可用的集群，使集群拥有两个NameNode（active和standby）。
- yarn：Hadoop V2 版本新添加的特性，用于资源调度和管理。
5.总结
Hadoop V2在底层设计上对比Hadoop V1是有区别的，新增HA，使得Hadoop V1中存在的单点问题得到了很好得解决；Hadoop V2新增Yarn系统，使得集群得资源管理和调度更加得完美，大大减少ResourceManager的资源消耗，并且让监测每一个 Job 子任务 (tasks) 状态的程序分布式化了，更安全、更优美。同时，使得多种计算框架可以运行在一个集群中。
6.结束语
这篇文章就和大家分享到这里，如果大家在研究和学习的过程中有什么疑问，可以加群进行讨论或发送邮件给我，我会尽我所能为您解答，与君共勉！
