HDFS存储系统

一、基本概念

1、NameNode

　　HDFS采用Master/Slave架构。namenode就是HDFS的Master架构。主要负责HDFS文件系统的管理工作，具体包括：名称空间(namespace)管理(如打开、关闭、重命名文件和目录、映射关系)、文件block管理。NameNode提供的是始终被动接收服务的server。一个文件被分成一个或多个Bolck，这些Block存储在DataNode集合里，NameNode就负责管理文件Block的所有元数据信息。

　　Secondary NameNode主要是定时对NameNode的数据snapshots进行备份，这样可尽量降低NameNode崩溃之后导致数据丢失的风险。具体就是从namenode中获得fsimage和edits后把两者重新合并发给NameNode，这样，既能减轻NameNode的负担又能安全得备份，一旦HDFS的Master架构失效，就可以借助Secondary NameNode进行数据恢复。

　　namenode管理着所有所有文件系统的元数据。这些元数据包括名称空间、访问控制信息、文件和Block的映射信息，以及当前Block的位置信息。还管理着系统范围内的活动。

2、DataNode

　　用于存储并管理元数据。DataNode上存储了数据块ID和数据块内容，以及他们的映射关系。

3、客户端

　　访问HDFS的程序或HDFS shell命令都可以称为HDFS的客户端，在HDFS的客户端中至少需要指定HDFS集群配置中的NameNode地址以及端口号信息，或者通过配置HDFS的core-site.xml配置文件来指定。

二、HDFS的组成和架构

2.1 hdfs架构设计

　　HDFS最重要的两个组件为：作为Master的NameNode和作为Slave的DataNode。NameNode负责管理文件系统的命名空间和客户端对文件的访问；DataNode是数据存储节点，所有的这些机器通常都是普通的运行linux的机器，运行着用户级别的服务进程。

图展示了HDFS的NameNode、DataNode以及客户端的存取访问关系。NameNode负责保存和管理所有的HDFS元数据，因而用户数据不需要通过namenode，也就是说文件数据的读写是直接在datanode上进行的。HDFS存储的文件被分割成固定大小的Block，在创建Block的时候，namenode服务器会给每个block分配一个唯一不变的block标识。datanode服务器把block以linux文件的形成保存在本地磁盘上，并且根据指定的block标识和字节范围来读写块数据。处于可靠性的考虑，每个块都会复制到多个datanode上。默认使用三个冗余备份。

HDFS客户端代码以库的形式被链接到客户程序中。客户端和namenode交互只获取元数据，所有的数据操作都是由客户端直接和datanode进行交互。

2.2 HDFS读文件数据流

图为HDFS读文件数据流的过程，具体的执行过程为：

　　1、调用FileSystem的open()打开文件，见序号1：open

　　2、DistributedFileSystem使用RPC调用NameNode，得到文件的数据块元数据信息，并返回FSDataInputStream给客户端，见序号2：get block locations

　　3、HDFS客户端调用stream的read()函数开始读取数据，见序号3：read

　　4、调用FSDATAInputStream直接从DataNode获取文件数据块，见序号4、5：read

　　5、读完文件时，调用FSDATAInputStream的close函数，见序号6：close

2.3 HDFS写文件数据流

读文件时在多个数据块文件中选择一个就可以了，但是写数据文件时需要同时写道多个数据块文件中。

图为HDFS写文件数据流的过程，首先客户端调用create()来创建文件，然后DistributedFileSystem同样使用RPC调用namenode首先确定文件是否不存在，以及客户端有创建文件的权限，然后创建文件。DistributedFileSystem返回DFSOutputStream，客户端用于写数据。客户端开始写入数据，DFSOutputStream将数据分成块，写入data queue。data queue由data streamer读取，并通知元数据节点分配数据节点，用来存储数据块(每块默认复制3块)。分配的数据节点放在pipeline里。data streamer将数据块写入pipeline中的第一个数据节点。第一个数据节点将数据块发送给第二个数据节点，第二个数据节点将数据发送给第三个数据节点。DFSOutputStream为发出去的数据块保存了ack queue，等待pipeline中的数据节点告知数据已经写入成功。

三、HDFS文件结构

1、namenode的存储目录中包含三个文件：

　　edits、fsimage、fstime。都是二进制文件，可以通过Hadoop Writable对象就行序列化。

2、编辑日志(edit log)和文件系统映像(filesystem image)

　　当客户端执行写操作时，首先namenode会在编辑日志中写下记录，并在内存中保存一个文件系统元数据，并且不断更新。

　　fsimage文件是文件系统元数据的持久性检查点，和编辑日志不同，它不会再每个文件系统的写操作后进行更新。但是文件系统会出现编辑日志的不断增长情况。为了解决这个问题，引入了secondary namenode。它的任务就是为原namenode内存中的文件系统元数据产生检查点，是一个辅助namenode处理fsimage和编辑日志的节点，它从namenode中拷贝fsimage和编辑日志到临时目录并定期合并成一个新的fsimage，随后上传至namenode。具体的检查点的处理过程如下：

　　1、secondary namenode首先请求原namenode进行edits的滚动，这样新的编辑操作就能进入一个新的文件中。

　　2、secondary namenode通过http方式读取原namenode中的fsimage及edits。

　　3、secondary namenode读取fsimage到内存中，然后执行edits中的每个操作，并创建一个新的统一的fsimage文件。

　　4、secondary namenode将新的fsimage发送到原namenode。

　　5、原namenode用新的fsimage替换旧的，旧的edits文件用步骤1中的edits进行替换，同时系统会更新fsimage文件到文件的记录检查点时间。

四、HDFS核心设计

1、block的大小

block的大小是HDFS关键的设计参数之一，默认大小为64MB，选择较大的Block的优点：

　　1、减少了客户端和NameNode通信的需求。

　　2、客户端能够对一个块进行多次操作，这样就可以通过block服务器较长时间的TCP连接来减少网络负载。

　　3、减少namenode节点需要保存的元数据的数量，从而很容易把所有元数据放在内存中。

当然选择较大的block也有一定的缺点，当文件过小时，数百个客户端并发请求访问会导致系统局部过载，解决这个问题可以通过自定义更大的HDFS的复制因子来解决。

2、数据复制

　　HDFS中，每个文件存储成block序列，除了最后一个block，所有的block都是同样大小，文件的所有block为了容错都会被冗余复制存储。HDFS中的文件是writer-one，严格要求任何时候只能是一个writer。文件的复制会全权交给namenode进行管理，namenode周期性的从集群中的每个datanode接收心跳包和一个blockreport。心跳包表示该datanode节点正常工作，而blockreport包括了该datanode上所有的block组成的列表。

3、数据副本存放策略

　　副本的存放是HDFS可靠性和高性能的关键。HDFS采用一种机架感知的策略来改进数据的可靠性、可用性和网络带宽的利用率。一个简单的没有优化的策略就是将副本存放在不同的机架上。这样可以有效防止当整个机架失效时数据的丢失，并且允许读取数据的时候充分利用多个机架的带宽。

　　HDFS的默认副本系数为3，副本存放策略是将第一个副本存放在本地机架的节点上，将第二个副本放在同一个机架的另一个节点上，将第三个副本放在不同的机架的节点上。因为是放在两个机架上，所以减少了读取数据时需要的网络传输总带宽。这样的策略减少了机架之间的数据传输，提高了写操作的效率，机架的错误远比节点的错误要少的多，所以不会影响数据的可靠性和可用性。

4、安全模式

　　当系统处于安全模式时，不会接受任何对名称空间的修改，同时也不会对数据块进行复制或删除。namenode启动之后，自动进入安全模式，namenode从所有的datanode接收心跳信号和块状态报告。块状态报告包括了某个datanode所有的数据块列表，每个数据块都有一个指定的最小副本数。当namenode检测确认某个数据块的副本数目达到这个最小值，该数据块就认为是副本安全的。在一定百分比的数据块被namenode检测确认是安全的之后(加上30s等待时间)，namenode将退出安全模式。

1 bin/hadoop dfsadmin -safemode enter //进入安全模式
2 bin/hadoop dfsadmin -safemode leave //退出安全模式
3 bin/hadoop dfsadmin -safemode get //返回安全模式是否开启的信息
4 bin/hadoop dfsadmin -safemode wait //等待一直等到安全模式结束

5、负载均衡

　　HDFS很容易出现不平衡状况的问题，同时也会引发其他问题，比如说MapReduce程序无法很好的利用本地计算机的优势，机器之间无法到达更好的网络带宽使用率、机器磁盘无法利用等。HDFS提供了一个工具，用于分析数据块分布和重新均衡DataNode上的数据分布。

$HADOOP_HOME/bin/start-balancer.sh -t 10%

这个命令，-t参数后面的是HDFS达到平衡状态的磁盘使用率偏差值。如果机器与机器之间的使用率偏差小于10%，那么我们认为HDFS集群就达到了平衡状态。

　　负载均衡程序作为一个独立的进程与namenode进行分开执行，HDFS均衡负载处理工程如下：

　　1、负载均衡服务Rebalancing Server从namenode中获取datanode的情况，具体包括每一个datanode磁盘使用情况，见序号1：get datanode report

　　2、Rebalancing Server计算哪些机器需要将数据移动，哪些机器可以接受移动的数据，以及从datanode中获取需要移动数据的分布情况，见序号2：get partial blockmap

　　3、Rebalancing Server计算出来哪一台机器的block移动到另一台机器中去，见序号3：copy a block

　　4、需要移动block的机器将数据移动到目标机器上，同时删除自己机器上的block数据，见序号4、5、6

　　5、Rebalancing Server获取本次数据移动的执行结果，并继续执行这个过程，一直到没有数据可以移动或HDFS集群已经达到平衡的标准为止，见序号7

6、升级和回滚机制

　　和升级软件一样，可以再集群上升级hadoop，可能升级成功，也可能失败，如果失败了，就用rollback进行回滚；如果过了一段时间，系统运行正常，就可以finalize正式提交这次升级。相关升级和回滚命令如下：

1 bin/hadoop namenode -update //升级
2 bin/hadoop namenode -rollback //回滚
3 bin/hadoop namenode -finalize //提交
4 bin/hadoop namenode -importCheckpoint //从Checkpoint恢复.用于namenode故障

升级过程：

　　1、通过dfsadmin -upgradeProgress status检查是否已经存在一个备份，如果存在，则删除。

　　2、停止集群并部署Hadoop的新版本

　　3、使用-upgrade选项运行新的版本(bin/start-dfs.sh -upgrade)

如果想退回老版本：

　　1、停止集群并部署hadoop的老版本。

　　2、用回滚选项启动集群，命令如下：bin/start-dfs.sh -rollback

7、HDFS的缺点

　　1、访问时延：HDFS的设计主要是用于大吞吐量的数据，是以一定的时延为代价的。

　　2、对大量小文件的处理

　　　　大量小文件处理时难免产生大量线程时延。解决办法：利用SequenceFile、MapFile、Har等方式归档小文件。就是把小文件归档管理，HBase就是这种原理。横向扩展。多Master设计。

　　3、多用户写，任意文件修改

四、HDFS常用命令

1、archive

　　　　用于创建一个hadoop归档文件，hadoop archive是特殊的档案格式。一个hadoop archive对应一个文件系统目录。拓展名是.har。

　　1）创建一个archive：使用方法如下：

1 hadoop archive -archiveName NAME -p <parenet path> <src>* <dest>
2 
3 archiveName:指定要创建的档案的名字
4 p：是否创建路径中的各级服目录
5 src：需要归档的源目录，可以含正则表达式
6 dest：保存档案文件的目标目录

　　例如：需要将目录/usr/work/dir1和/usr/work/dir2归档为work.har，并保存在目标目录/data/search下，命令如下：

bin/hadoop archive -archiveName work.har /usr/work/dir1 /usr/work/dir2 /data/search

　　2）查看archive文件

1 查看前面创建的archive的归档文件work.har，需要获得创建的archive中的文件列表，即
2   hadoop dfs -lsr har:///data/search/work.har
3 查看archive中的file1文件的命令如下：
4    hadoop dfs -cat har:///data/search/work.har/dir1/file1

2、distcp

　　用于hadoop集群之间复制数据。

1 例如：将集群NN1的数据目录/data/logs复制到NN2的/data/logs目录，假设端口均为9000，则在NN1上执行以下命令：（也可以将多个源目录复制到一个目录中）
2 hadoop distcp hdfs://NN1:9000/data/logs hdfs://NN2:9000/data/logs

3、fsck

　　fsck是HDFS文件系统的检查工具。当用户发现HDFS上的文件可能受损时，可以使用这个命令进行检查，方法如下：

1 hadoop fsck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | locations | -racks]]]
2 
3 <path>：检查的起始目录
4 -move：移动受损文件到/lost+found
5 -delete：删除受损文件
6 -openforwrite：打印出写打开的文件
7 -files：打印出整被检查的文件
8 -blocks：打印出快信息报告
9 -locations：打印出每个块的位置信息

五、HDFS Java API的使用方法

见hadoop-1.x运行实例