Hadoop添加datanode或者tasktracker节点-低调大师

[xiaoyu@hadoop03 hadoop-1.1.2] $ bin/hadoop-daemon.sh start datanode
starting datanode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-datanode-hadoop03.out
[xiaoyu@hadoop03 hadoop-1.1.2] $ bin/hadoop-daemon.sh start tasktracker

starting tasktracker, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-tasktracker-hadoop03.out

5. 检查新节点的启动情况

在这里hadoop01为namenode节点

这里有三种方法，当然执行命令的方法最简便。

5.1 Namenode状态页面:http://hadoop01:50070

具体信息如下图

5.2 Jobtracker状态页面: http://hadoop01:50030

具体信息如下图：

5.3 任意节点为上执行

$ bin/hadoop dfsadmin -report

Configured Capacity: 32977600512 (30.71 GB)

Present Capacity: 20209930240 (18.82 GB)

DFS Remaining: 20003794944 (18.63 GB)

DFS Used: 206135296 (196.59 MB)

DFS Used%: 1.02%

Under replicated blocks: 1

Blocks with corrupt replicas: 0

Missing blocks: 0

-------------------------------------------------

Datanodes available: 2 (2 total, 0 dead)

Name: 192.168.88.172:50010

Decommission Status : Normal

Configured Capacity: 16488800256 (15.36 GB)

DFS Used: 205955072 (196.41 MB)

Non DFS Used: 6369054720 (5.93 GB)

DFS Remaining: 9913790464(9.23 GB)

DFS Used%: 1.25%

DFS Remaining%: 60.12%

Last contact: Fri Sep 13 03:35:51 CST 2013

Name: 192.168.88.173:50010

Decommission Status : Normal

Configured Capacity: 16488800256 (15.36 GB)

DFS Used: 180224 (176 KB)

Non DFS Used: 6398615552 (5.96 GB)

DFS Remaining: 10090004480(9.4 GB)

DFS Used%: 0%

DFS Remaining%: 61.19%

Last contact: Fri Sep 13 03:35:50 CST 2013

6. 使正在运行的计算分布到新的数据节点上

[xiaoyu@hadoop01 hadoop-1.1.2]$ ./bin/start-balancer.sh

starting balancer, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-balancer-hadoop01.out

[xiaoyu@hadoop01 hadoop-1.1.2]$

这个脚本很有用，大家也可以根据实际需要修改这个脚本。

7. 参考资料

Is there a way to add nodes to a running Hadoop cluster?

http://stackoverflow.com/questions/13159184/is-there-a-way-to-add-nodes-to-a-running-hadoop-cluster

1> Update the /etc/hadoop/conf/slaves list with the new node-name

2> Sync the full configuration /etc/hadoop/conf to the new datanode from the Namenode. If the file system isn't shared.

2> Restart all the hadoop services on Namenode/Tasktracker and all the services on the new Datanode.

3> Verify the new datanode from the browser http://namenode:50070

4> Run the balancer script to readjust the data between the nodes.

本文转自xiaoyuwang 51CTO博客，原文链接：http://blog.51cto.com/wangxiaoyu/1296632

，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/447894

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

骡夫电商

骡夫电商怎么样？

2017-11-17

617

1. MapReduce -映射、化简编程模型 1.1 MapReduce 的概念 1.1.1 map 和 reduce 1.1.2 shufftle 和排序 MapReduce 保证每个 reducer 的输入都已经按键排序。 1.1.3 MapReduce 类型和输入输出 MapReduce 中的 map 和 reduce 函数遵循以下形式： map: (K1, V1) ----> list(K2, V2) reduce: (K2, list(V2)) ----> list (K3, V3) 通常来说，map 函数输入的键值对的类型与用于输出的不同，然而，reduce 函数的输入类型必须与 map 函数的输出类型相一致。 1.1.4 一个示例下面是一个示例。该实例从很多行的气象数据中获取每年的最高气温值。（1）原始数据是气象局的气象数据：我们以每一行在文件中的偏移量作为键，构建 map 函数需要的键/值对：黑体部分说明的是年份和该年气温。（2）map 函数的功能正是提取每一行的年份和气温，得到下面的list： (1950, 0) (1950, 22) (1...

2017-11-17

560

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。