Hadoop2.7实战v1.0之动态添加、删除DataNode节点及复制策略导向
一.环境
IP | Host 及安装软件 | 部署模块 | 进程 |
172.16.101.55 | sht-sgmhadoopnn-01 hadoop | NameNode ResourceManager | NameNode DFSZKFailoverController ResourceManager |
172.16.101.56 | sht-sgmhadoopnn-02 hadoop | NameNode ResourceManager | NameNode DFSZKFailoverController ResourceManager |
172.16.101.58 | sht-sgmhadoopdn-01 hadoop、zookeeper | DataNode NodeManager Zookeeper | DataNode NodeManager JournalNode QuorumPeerMain |
172.16.101.59 | sht-sgmhadoopdn-02 Hadoop、zookeeper | DataNode NodeManager Zookeeper | DataNode NodeManager JournalNode QuorumPeerMain |
172.16.101.60 | sht-sgmhadoopdn-03 Hadoop、zookeeper | DataNode NodeManager Zookeeper | DataNode NodeManager JournalNode QuorumPeerMain |
172.16.101.66 | sht-sgmhadoopdn-04(add/del) Hadoop | DataNode NodeManager
| DataNode NodeManager
|
###当前环境是hadoop-2.7.2+zookeeper-3.4.6完全分布式环境,HDFS HA+YARN HA。
在hdfs-site.xml文件中,dfs.replication为3。
dfs.replication
3
#下面均采取动态添加、删除节点方式,而不是静态方式(相当于起初部署集群一样,停止namenode,新增一个datanode数据节点,这种方法不适合用于线上提供服务的场景,具体操作,查看参考链接)。
二.动态添加DataNode和NodeManager节点(不修改dfs.replication)【终极版】
http://blog.itpub.net/30089851/viewspace-2055168/
三.添加DataNode节点后,更改文件复制策略dfs.replication
http://blog.itpub.net/30089851/viewspace-2047825/
四.动态删除DataNode和NodeManager节点(修改dfs.replication) 【终极版】
http://blog.itpub.net/30089851/viewspace-2049648/
五.参考
http://my.oschina.net/leoleong/blog/477508

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
HBase源码分析之HRegionServer上compact流程分析
前面三篇文章中,我们详细叙述了compact流程是如何在HRegion上进行的,了解了它的很多细节方面的问题。但是,这个compact在HRegionServer上是如何进行的?合并时文件是如何选择的呢?在这篇文章中,你将找到答案! 首先,在HRegionServer内部,我们发现,它定义了一个CompactSplitThread类型的成员变量compactSplitThread,单看字面意思,这就是一个合并分裂线程,那么它会不会就是HRegionServer上具体执行合并的工作线程呢?我们一步一步来看。 要了解它是什么,能够做什么,那么就必须要看看它的实现,找到CompactSplitThread类,so,开始我们的分析之旅吧! 首先,看下CompactSplitThread中都定义可哪些变量,如下: // Configuration key for the large compaction threads. // large合并线程数参数hbase.regionserver.thread.compaction.large,默认值为1 public final...
- 下一篇
Hadoop2.7实战v1.0之添加DataNode节点后,更改文件复制策略dfs.replication
1.查看当前系统的复制策略dfs.replication为3,表示文件会备份成3份 a.通过查看hdfs-site.xml 文件 点击(此处)折叠或打开 [root@sht-sgmhadoopnn-01 ~]# cd /hadoop/hadoop-2.7.2/etc/hadoop [root@sht-sgmhadoopnn-01 hadoop]# more hdfs-site.xml <property> <name>dfs.replication</name> <value>3</value> </property> b.通过查看当前hdfs文件的复制值是多少 点击(此处)折叠或打开 [root@sht-sgmhadoopnn-01 hadoop]# hdfs dfs -ls /testdir Found 7 items -rw-r--r-- 3 root supergroup 37322672 2016-03-05 17:59 /testdir/012_HDFS.avi -rw-r--r-- 3 root su...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS关闭SELinux安全模块
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS7设置SWAP分区,小内存服务器的救世主
- Hadoop3单机部署,实现最简伪集群
- CentOS6,7,8上安装Nginx,支持https2.0的开启