一、HDFS

1. 永久性数据结构

 1.1 namde的目录结构

 1.1.2 VERSION文件是一个JAVA属性，包含正在运行的HDFS的版本信息

layoutVersion是一个负整数，描述HDFS持久数据结构（也称布局）的版本，但该版本号与hadoop发布包的版本号无关。只要布局变更，版本号便会递增（如，版本号-18之后是-19），此时，HDFS也需升级。否则，磁盘仍然使用旧版本布局，新版本的namenode或datanode无法正常工作。

namespaceIT：是文件系统唯一标识符，是在文件系统首次格式化时设置的。

cTime：标记了namenode存储系统的创建时间。对于刚刚格式化的存储系统，这个属性值为0

storageType：说明该存储目录包含有namenode的数据结构

 1.1.3 文件系统映像和编辑日志

  文件系统客户端执行写操作时（如创建和移动文件），这些操作，首先被记录到编辑日志中。namenode在内存中维护文件系统的元数据；当编辑日志被修改时，相关元数据信息也需要更新。内存中元数支技客户端的读请求。

  每次执行写操作后，且向客户端发送成功代码之前，编辑日志需要更新和同步。当namenode向多个目录 写数时，只有在所有写操作均执行完毕之后方可返回代码，以确保任何操作不都不会因为机器故障而丢失。

  fsimage：是文件系统元数据一个永久检查点。如果namenode发生故障，可以先把fsimage文件载入到内存重构新近的元数据，再执行编辑日志 记录各项操作

  fsimage包含文件系统中所有目录和文件inode的序列化信息。每个inode是一个文件或目录的元数据的内存部描述方式。对于文件来说，包含信息有“复本级别”(replication level),修改时间和访问时间，访问许可，块大小，组成一个文件块等；对于目录来说，包含有修改时间，访问许可和配额元数据等信息。

  数据块存储在datanode中，但fsimage文件不描述datanode，取而代之的是，namenode将这种块映射关系放在内存中。当datanode加入集群时，namenode向datanode索取块列表以建立映射关系；namnode还将定期征询datanode以确保它拥有最新的块映射。

  运行辅助namenode，为主namenode内存中的文件系统元数创建检查点

（1）辅助namenode请求主namenode停止使用edits文件，暂时将新的写操作记录到一个新文件中。

（2）辅助namenode从主namenode获取fsimage和edits文件（采用HTTP GET)

（3）辅助namenode将fsimage文件载入内存，逐一执行edits文件中操作，创建新fsimages文件。

（4）辅助namenode将新fsimage文件发送回主namenode（使用HTTP POST)

（5）主namenode用从辅助namenode接收的fsimage文件替换旧的fsimage文件；用步聚1所产生的edits文件替换旧edits文件。同时，还更新ftime文件来记录检查点执行时间。

  创建检查点的触发条件接爱两个配置参数控制。

 （1）辅助namenode每隔一小时（由fs.checkpoint.period属性设置 ，以秒为单位）

 （2）当编辑日志大小时到达64MB（由fs.checkpoint.size属性设置，以字节为单位）时，即使未到一小时也会创建检查点。系统每隔5分钟检查一次编辑日志大小。

 1.2 辅助namenode的目录结构

  在主namenode发生故障时（假设没有及时备份，甚至在NFS上也没有），可以从辅助namenode恢复数据。两种实现方法

  （1）将相关存储目录复制到新的namenode中

  （2）使用-importCheckpoint选项启动namenode守护进程，从面辅助namenode用作新的主namenode。借助该选项，当dfs.name.dir属性定义目录中没有元数据时，辅助namenode就从fs.checkpoint.dir目录截入最新的检查点数据，否则执行失败

 1.3 datanode的目录结构

      datanode的存储目录是初始阶段自动创建的，不需要额外格式化

      datanode的current目录中的其他文件都有blk_前缀，包括两种文件类型：HDFS块文件（仅有原始数据)和块的元数据（含.meta后缀）。块文件包含所存储文件中一部分的原始数据；元数据文件包括头部（含版本和类型信息）和该块各区段的一系列的校验和

        目录数据的数量增加到一定规模时，datanode会创建一个子目录来存放新数据块及元数据信息。如果存储64个（通过dfs.datanode.numblocks属性设置）数据块，就创建一个子目录

        如果dfs.data.dir属性指定了不同磁盘上多个目录，那么数据块以轮转(round-robin)方式写到各个目录中。注意，同一个datanode上的每个磁盘上的块不会重复，不同的datanode之间块才可能重复

2. 安全模式

     namenode启动时，先将fsimage载入内存，并执行edits中各项操作。一旦内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件（该操作不需借助辅助namenode）和一个空编辑日志。此时，namenode开始监听RPC和HTTP请求。但此刻，namenode处在安全模式，即namenode的文件系统对于客户端来说是只读的。

    进入和离开安全模式

    HDFS的网页面也能显示namenode是否处于安全模式

          进入安全模式，使namenode永远处于安全模式方式，将属性dfs.safemode.thresholdpct的值设为大于1

         离开

1.4 工具

  1.4.1 dfadmin工具

      可查找HDFS状态信息，也可在HDFS上执行管理操作

       hadoop dfsadmin

[hadoop@slave-one current]$ hadoop dfsadmin -help
hadoop dfsadmin is the command to execute DFS administrative commands.
The full syntax is:
hadoop dfsadmin [-report] [-safemode <enter | leave | get | wait>]
[-saveNamespace]
[-refreshNodes]
[-setQuota <quota> <dirname>...<dirname>]
[-clrQuota <dirname>...<dirname>]
[-setSpaceQuota <quota> <dirname>...<dirname>]
[-clrSpaceQuota <dirname>...<dirname>]
[-refreshServiceAcl]
[-refreshUserToGroupsMappings]
[refreshSuperUserGroupsConfiguration]
[-setBalancerBandwidth <bandwidth>]
[-help [cmd]]
-report:  Reports basic filesystem information and statistics.
-safemode <enter|leave|get|wait>:  Safe mode maintenance command.
 Safe mode is a Namenode state in which it
  1.  does not accept changes to the name space (read-only)
  2.  does not replicate or delete blocks.
 Safe mode is entered automatically at Namenode startup, and
 leaves safe mode automatically when the configured minimum
 percentage of blocks satisfies the minimum replication
 condition.  Safe mode can also be entered manually, but then
 it can only be turned off manually as well.
-saveNamespace: Save current namespace into storage directories and reset edits log.
 Requires superuser permissions and safe mode.
-refreshNodes:  Updates the set of hosts allowed to connect to namenode.
 Re-reads the config file to update values defined by 
 dfs.hosts and dfs.host.exclude and reads the 
 entires (hostnames) in those files.
 Each entry not defined in dfs.hosts but in 
 dfs.hosts.exclude is decommissioned. Each entry defined 
 in dfs.hosts and also in dfs.host.exclude is stopped from 
 decommissioning if it has aleady been marked for decommission.
 Entires not present in both the lists are decommissioned.
-finalizeUpgrade: Finalize upgrade of HDFS.
 Datanodes delete their previous version working directories,
 followed by Namenode doing the same.
 This completes the upgrade process.
-upgradeProgress <status|details|force>: 
 request current distributed upgrade status, 
 a detailed status or force the upgrade to proceed.
-metasave <filename>:  Save Namenode's primary data structures
 to <filename> in the directory specified by hadoop.log.dir property.
 <filename> will contain one line for each of the following
  1. Datanodes heart beating with Namenode
  2. Blocks waiting to be replicated
  3. Blocks currrently being replicated
  4. Blocks waiting to be deleted
-setQuota <quota> <dirname>...<dirname>: Set the quota <quota> for each directory <dirName>.
 The directory quota is a long integer that puts a hard limit
 on the number of names in the directory tree
 Best effort for the directory, with faults reported if
 1. N is not a positive integer, or
 2. user is not an administrator, or
 3. the directory does not exist or is a file, or
-clrQuota <dirname>...<dirname>: Clear the quota for each directory <dirName>.
 Best effort for the directory. with fault reported if
 1. the directory does not exist or is a file, or
 2. user is not an administrator.
 It does not fault if the directory has no quota.
-setSpaceQuota <quota> <dirname>...<dirname>: Set the disk space quota <quota> for each directory <dirName>.
 The space quota is a long integer that puts a hard limit
 on the total size of all the files under the directory tree.
 The extra space required for replication is also counted. E.g.
 a 1GB file with replication of 3 consumes 3GB of the quota.
 Quota can also be speciefied with a binary prefix for terabytes,
 petabytes etc (e.g. 50t is 50TB, 5m is 5MB, 3p is 3PB).
 Best effort for the directory, with faults reported if
 1. N is not a positive integer, or
 2. user is not an administrator, or
 3. the directory does not exist or is a file, or
-clrSpaceQuota <dirname>...<dirname>: Clear the disk space quota for each directory <dirName>.
 Best effort for the directory. with fault reported if
 1. the directory does not exist or is a file, or
 2. user is not an administrator.
 It does not fault if the directory has no quota.
-refreshServiceAcl: Reload the service-level authorization policy file
 Namenode will reload the authorization policy file.
-refreshUserToGroupsMappings: Refresh user-to-groups mappings
-refreshSuperUserGroupsConfiguration: Refresh superuser proxy groups mappings
-setBalancerBandwidth <bandwidth>:
Changes the network bandwidth used by each datanode during
HDFS block balancing.
 <bandwidth> is the maximum number of bytes per second
 that will be used by each datanode. This value overrides
 the dfs.balance.bandwidthPerSec parameter.
 --- NOTE: The new value is not persistent on the DataNode.---
-help [cmd]:  Displays help for the given command or all commands if none
 is specified.

Generic options supported are
-conf <configuration file>     specify an application configuration file
-D <property=value>            use value for given property
-fs <local|namenode:port>      specify a namenode
-jt <local|jobtracker:port>    specify a job tracker
-files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines.
The general command line syntax is
bin/hadoop command [genericOptions] [commandOptions]

-help：显示指定命令帮助，未指明，则显示所有命令的帮助

-repot：显示文件系统的统计信息（类似在网页界面上显示文件的内容）

-metasave：将某些信息存储到hadoop日志目录中一个文件，包括正在被复制或删除的块信息以及连接的datanode列表

-safamode：改变或查询安全模式

-saveNamespace：将内存中文件系统映像保存到为一个新的fsimage文件，重置edits文件。该操作公在安全模式下执行。

-refreshNodes：更新允许连接到namenode的datanode列表

-upgradeProgress：获取有关HDFS升级的进度信息或强制升级

-finalizeUpgrade：移除datanode和namenode的存储目录上的旧版本数据。这个操作一般在升级完成而且集群在新版本下运行正常情况下执行

-setQuota：设置目录配额，即设置以该目录为根的整个目录树最多包含多少个文件和目录。这项配置能有效阻止用户创建大量小文件，从而保护namenode的内存（文件系统中的所有文件，目录和块的各项信息均存储在内存中）

-clrQuota：清瑼指定的空间配额

-setSpaceQtuota：设置目录空间配客，以限制存储在目录树中的所有文件的总规模。分别为各用户指定有限的存储空间很有必要

-clrSpaceQtuota：清理指定的空间配额

-refreshSserviceAcl：刷新namenode的服务级授权策略文件。

 1.4.2 fsck工具

     hadoop提供fsck工具来检查HDFS中文件的健康状况。该工具会查找哪些在所有datanode中均缺失的块以及过少或过多复本的块。注意，fsck工具只是从namenode获取信息，并不与任何datanode进行交互，因此并不真正获取块数据

             hadoop fsck /

      fsck输出文件内容有以下信息

• 过多的复制块

   指复本数超出最小块复本级别的块，严格上讲，并非一个大问题，HDFS会自动删除多余复本

• 仍需复制的块

   指复本数目低于最小复本级别的块。HDFS会自动为这些块创建新的复本，直到达到最小复本级别，用 hadoop dfsadmin -metasave FILE 了解正在复制的（或等待复制的）块的信息

• 错误复制的块

   违反块复本放置策略的块。如，最小复本级为3的多机架集群中，如果一个块的三个复本都存储在一个机加中，则可认定该块的复本放置错误，因为一个块的复本要分散在至少两个机架中，以提高可靠性。

• 损坏的块

   指所有复本均已损坏的块。如果虽然部分复本损坏，但至少还有一个复本完好，则该块就未损坏；namenode将创建新的复本，直到达到最小复本级别。

• 缺失的复本

   指在集群中没有任何复本的块

  
  

  
  

 1.5 均衡器

   均衡器（balancer)程序是一个hadoop守护进程，它将块从忙碌的datanode移到相对空闲的datanode，从而重新分配块。

   启动均衡器,-threshold参数指定阀值（百分比格式），以判定集群是否均衡，默认10%

三、维护

1. 元数据备份

   如果namenode永久性元数据丢失或损坏，则整个文件系统无法使用。备份方法：利用脚本文件定期将辅助namenode的previous.checkpoint子目录存档，放到异地站点。注意该子目录放在fs.checkpoint.dir属性定义的目录之中。

2. 数据备份

    distcp是一个理想备份工具，其并行的文件复制功能可将备份文件存储到其他HDFS集群。

3. 添加新节点

 3.1 委任新节点

 （1）配置hdfs-site.xml文件，指向namenode；

 （2）配置mapred.site.xml文件，指向jobtracker

  (3) 启动datanode和jobtracker守护进程 

  注意：被允许连接到namenode的所有datanode放在一个文件中，文件名称由dfs.hosts属性指定。该文件放在namenode的本地文件系统中，每行对应一个datanode的网络地址。如需要为一个datanode指定多个网络地址，可将多个网络地址放在一行，由空格隔开。通常情况下，集群中的节点同时运行datanode和tasktracker守护进程，dfs.hosts和mapred.hosts会同时指向一个文件，即include文件。

 3.2 dfs.hosts属性和mapred.hosts属性指定（一个或多个）文件不同于slave文件

   前者供namenodet和jobtracker使用，决定可以连接哪个工作节点

   后者使用slave文件执行面向整个集群范围的操作。如重启集群等。

 3.3 向集群添加新节点步聚

 （1）将新点的网络地址添加到include文件中

 （2）将审核一系列的datanode集合更新至namenode信息

 （3）经过审核的一系列的tasktracker信息更新至jobtracker

 （4）以新节点更新slaves文件。这样的话，hadoop控制脚本会将新节点包括在未来操作之中

 （5）启动新的datanode和tasktracker

 （6）检查新的datanode和tasktracker是否出现在网页界面中

 4. 解除旧节点

  4.1 用户将拟退出若干datanode告知namenode,hadoop系统将这些datanode停机之前将块复制到其他datanode

  4.2 HDFS的include文件和exclude文件

 4.3 从集群节点移除节点步聚

 （1）将待解除节点的网络地址添加到exclude文件中，不更新include文件

 （2）使用一组新的审核过的datanode来更新namenode

 （3）使用一组新的审核过的datanode来更新jobtracker设置

 （4） 转到网页界面，查看待解除datanode的管理状态是否已经变为"正在解除"（Decommission In Progress)。这些datanode会把它们的块复制到其他的datanode中

 （5）当所有datanode的状态变为”解除完毕“（Decommissioned)时，表明所有块都已经复制完毕。关闭已经解除的节点

 （6）从include文件中移除这些节点

  (7) 从slaves文件中移除节点