您现在的位置是:首页 > 文章详情

Hadoop2.7实战v1.0之动态添加、删除DataNode节点及复制策略导向

日期:2016-03-04点击:664

一.环境

 

IP

Host 及安装软件

部署模块

进程

172.16.101.55

sht-sgmhadoopnn-01

hadoop

NameNode

ResourceManager

NameNode

DFSZKFailoverController

ResourceManager

172.16.101.56

sht-sgmhadoopnn-02

hadoop

NameNode

ResourceManager

NameNode

DFSZKFailoverController

ResourceManager

172.16.101.58

sht-sgmhadoopdn-01

hadoopzookeeper

DataNode

NodeManager

Zookeeper

DataNode

NodeManager

JournalNode

QuorumPeerMain

172.16.101.59

sht-sgmhadoopdn-02

Hadoopzookeeper

DataNode

NodeManager

Zookeeper

DataNode

NodeManager

JournalNode

QuorumPeerMain

172.16.101.60

sht-sgmhadoopdn-03

Hadoopzookeeper

DataNode

NodeManager

Zookeeper

DataNode

NodeManager

JournalNode

QuorumPeerMain

172.16.101.66

sht-sgmhadoopdn-04(add/del)

Hadoop

DataNode

NodeManager

DataNode

NodeManager


###当前环境是hadoop-2.7.2+zookeeper-3.4.6完全分布式环境,HDFS HA+YARN HA。
在hdfs-site.xml文件中,dfs.replication为3。          
             
                 dfs.replication
                 3
              

#下面均采取动态添加、删除节点方式,而不是静态方式(相当于起初部署集群一样,停止namenode,新增一个datanode数据节点,这种方法不适合用于线上提供服务的场景,具体操作,查看参考链接)。


二.动态添加DataNode和NodeManager节点(不修改dfs.replication)【终极版】

http://blog.itpub.net/30089851/viewspace-2055168/


三.添加DataNode节点后,更改文件复制策略dfs.replication
http://blog.itpub.net/30089851/viewspace-2047825/

四.动态删除DataNode和NodeManager节点(修改dfs.replication) 【终极版】
http://blog.itpub.net/30089851/viewspace-2049648/

五.参考
http://my.oschina.net/leoleong/blog/477508

http://www.aboutyun.com/thread-7532-1-1.html

http://www.wtoutiao.com/p/Z24iFG.html

原文链接:https://yq.aliyun.com/articles/578891
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章