hadoop删除节点和添加节点
把需要移除的机器增加到exclueds文件中,强制刷新datanode列表,等待decommission 状态正常后,即可停机下架,如有必要在namenode执行balancer操作。
操作命令:
在master的conf/hdfs-site.xml中加入
<property>
<name>dfs.hosts.exclude</name>
<value>excludes文件路径</value>
</property>
创建exclueds文件
文件内容增加你想删除的节点的机器名,一行一个
${HADOOP_HOME}/bin/hdfs dfsadmin -refreshNodes命令刷新datanode例表
${HADOOP_HOME}/bin/hdfs dfsadmin -report查看结果
向hadoop添加机器
启动datanode和jobtracker进程,当新添加的机器向namenode发送心跳信息后,namenode会自动感知新加入的机器,如果有必要可以做balancer操作。
操作命令:
1.在新机器上
${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager
2.为防新数据大量写到新添加的机器上,在namenode上 ${HADOOP_HOME}/bin/hdfs balancer

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
hadoop2.6伪分布+pig0.15+zookeeper3.4.6安装
一、hadoop2.6伪分布安装请参考:http://blog.csdn.net/gamer_gyt/article/details/46793731二、pig0.15安装 Pig的介绍 Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-like语言叫Pig Latin,该语言的编译 器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算 提供了一个简易的操作和编程接口.Pig的运行模式 1.本地模式 Pig运行于本地模式,只涉及到单独的一台计算机。 2.MapReduce模式 Pig运行于MapReduce模式,需要能访问一个Hadoop集群,并且需要装上HDFS。 Pig的调用方式 Grunt shell方式:通过交互的方式,输入命令执行任务; Pig script方式:通过script脚本的方式来运行任务; 嵌入式方式:嵌入java源代码中,通过java调用来运行任务。Pig的安装 1)下载Pig前往http://mirror.bit.edu.cn/apache/pig/ 下载合适的版本,比如Pig 0...
- 下一篇
Tumblr:150亿月浏览量背后的架构挑战
Tumblr:150亿月浏览量背后的架构挑战 2013/04/08 · IT技术, 开发 · 9.9K 阅读 · HBase, Tumblr, 架构 英文原文:High Scalability,编译:CSDN 导读:和许多新兴的网站一样,著名的轻博客服务Tumblr在急速发展中面临了系统架构的瓶颈。每天5亿次浏览量,峰值每秒4万次请求,每天3TB新的数据存储,超过1000台服务器,这样的情况下如何保证老系统平稳运行,平稳过渡到新的系统,Tumblr正面临巨大的挑战。近日,HighScalability网站的Todd Hoff采访了该公司的分布式系统工程师Blake Matheny,撰文系统介绍了网站的架构,内容很有价值。 Tumblr每月页面浏览量超过150亿次,已经成为火爆的博客社区。用户也许喜欢它的简约、美丽,对用户体验的强烈关注,或是友好而忙碌的沟通方式,总之,它深得人们的喜爱。 每月超过30%的增长当然不可能没有挑战,其中可靠性问题尤为艰巨。每天5亿次浏览量,峰值每秒4万次请求,每天3TB新的数据存储,并运行于超过1000台服务器上,所有这些帮助Tumblr实现巨大的经营规模。...
相关文章
文章评论
共有0条评论来说两句吧...