Hadoop2.7实战v1.0之动态添加DataNode和NodeManager节点(不修改dfs.replication)

Hadoop2.7实战v1.0之动态添加DataNode和NodeManager节点(不修改dfs.replication)【终极版】

0.添加大文件到hdfs系统中去,是为了后期的动态添加datanode的机器，datanode机器的数据量不均衡，为了模拟均衡实验

###3个datanode节点数据量和数据块相等

1.修改系统hostname（通过hostname和/etc/sysconfig/network进行修改）

2.修改hosts文件，将集群所有节点hosts配置进去（集群所有节点保持hosts文件统一）

##修改集群的其他节点hosts文件

3.查看是否有.ssh文件夹,删除.ssh,重新配置

4.设置NameNode（两台HA均需要）到DataNode的免密码登录（ssh-copy-id命令实现，可以免去cp *.pub文件后的权限修改）

参考 http://blog.itpub.net/30089851/viewspace-1992210/

###其实最好将集群的每台都互相配置信任，包括新加的机器（我采取这个）

5.修改主节点slave文件，添加新增节点的ip信息,这里添加的是hostname:sht-sgmhadoopdn-04（集群重启时使用）

###我觉得这里应该将slaves文件scp到standbyNameNode即可,当然我倾向scp到其他所有节点(standbyNameNode,other DataNode);
毕竟假如集群重启了,active节点机器变为standby节点,standby节点机器变为active节点,那么假如slaves文件没有改变的话,那么执行start-dfs.sh脚本的话,那么新加的datanode节点就起不来！

6.新增的datanode 节点安装hadoop软件

7.将hadoop的配置文件scp到新的节点上

8.在新节点上启动datanode进程和nodemanager进程之前,必须检查$HADOOP_HOME/data/目录是否存在？假如存在，就直接先删除该目录的所有的文件

原因是机器有可能第二次添加为数据节点，清除数据文件等

【启动datanode进程】

9.在新增的节点上，启动datanode进程

然后在namenode通过hdfs dfsadmin -report或者web

v  [root@sht-sgmhadoopdn-01 bin]# ./hdfs dfsadmin –report

v  http://172.16.101.55:50070/dfshealth.html#tab-datanode

###负载不均衡, sht-sgmhadoopdn-04的数据块0，Used的24kb

      @假如sht-sgmhadoopdn-04的datanode进程已经起来了，那么web界面datanode就是不显示sht-sgmhadoopdn-04这一行数据，先执行./hadoop-daemon.sh stop datanode命令关闭当前进程;

      @然后再要检查是否设置了dfs.hosts，dfs.hosts.exclude参数，那么就注释这两个参数，然后执行hdfs dfsadmin -refreshNodes，刷新一下配置，然后有可能出现下面这幅图1，Dead状态；

      @最后只要再执行./hadoop-daemon.sh start datanode，刷新web就行，图2, 继续执行。

【启动nodemanager进程】

10.在新增的节点上，启动nodemanager进程

由于Hadoop 2.X引入了YARN框架，所以对于每个计算节点都可以通过NodeManager进行管理，同理启动NodeManager进程后，即可将其加入集群

在新增节点，运行sbin/yarn-daemon.sh start nodemanager即可

在ResourceManager，通过yarn node -list查看集群情况

11.最后还需要对hdfs负载设置均衡，因为默认的数据传输带宽比较低，可以设置为64M，即hdfs dfsadmin -setBalancerBandwidth 67108864即可

12.默认balancer的threshold为10%，即各个节点与集群总的存储使用率相差不超过10%，我们可将其设置为5%;然后启动Balancer,sbin/start-balancer.sh -threshold 5，等待集群自均衡完成即可。

###运行这个命令start-balancer.sh -threshold 5和使用hdfs balancer是一样的

#### Usage: hdfs balancer

A.      为什么我执行该命令hdfs balancer -threshold 5平衡数据命令没有反应呢？

5表示5%，

群总存储使用率:           1.74%

sht-sgmhadoopdn-01:   1.74%

sht-sgmhadoopdn-02:   1.74%

sht-sgmhadoopdn-03:   1.74%

sht-sgmhadoopdn-04:     0%

执行-threshold  5, 表示每一个 datanode 存储使用率和集群总存储使用率的差值都应该小于这个阀值5%；

假如超过5%，会执行数据平衡操作。

B.      怎样判断执行命令是否会生效，数据平衡操作？

if  (群总存储使用率  — 每一台datanode 存储使用率) > -threshold  5

      #会执行数据平衡

else

      #该命令不生效

end if

C.      the threshold  range of [1.0, 100.0],所以最小只能设置 -threshold  1

13. 执行命令hdfs balancer -threshold 1

[root@sht-sgmhadoopnn-01 hadoop]# hdfs balancer -threshold 1

……………..

……………..

16/03/08 16:08:09 INFO net.NetworkTopology: Adding a new node: /default-rack/172.16.101.59:50010

16/03/08 16:08:09 INFO net.NetworkTopology: Adding a new node: /default-rack/172.16.101.58:50010

16/03/08 16:08:09 INFO net.NetworkTopology: Adding a new node: /default-rack/172.16.101.66:50010

16/03/08 16:08:09 INFO net.NetworkTopology: Adding a new node: /default-rack/172.16.101.60:50010

16/03/08 16:08:09 INFO balancer.Balancer: 0 over-utilized: []

16/03/08 16:08:09 INFO balancer.Balancer: 0 underutilized: []

The cluster is balanced. Exiting...

Mar 8, 2016 4:08:09 PM            1            382.22 MB                 0 B               -1 B

Mar 8, 2016 4:08:09 PM   Balancing took 6.7001 minutes

###新增数据节点的411.7M

14.问题:在active namenode上成功执行数据平衡命令，namenode的状态发生的failover 

问题描述:

                      sht-sgmhadoopnn-01 :active—>standby

                      sht-sgmhadoopnn-02 :standby—>active,发生了failover操作.

揣测:在active节点上操作数据平衡命令,可能cpu等资源不够用了,就发生了failover,建议在新的数据节点datanode上操作.

修正: