大数据||hadoop分布式部署分发、基本测试及监控-低调大师

大数据||hadoop分布式部署分发、基本测试及监控

2018-02-21 628

先看文章大数据||hadoop分布式集群安装
分发包括：通过主节点给子节点分发数据。免密形式
基本测试包括：创建目录，上传文件、读取文件等

HDFS

namenode节点格式化（131）

命令bin/hdfs namenode -format
说明：只有第一次部署的格式化。后面不要格式化要不datanode节点启动会报错。

启动hdfs

命令：sbin/start-dfs.sh

查看启动结果：jps

web页面方式查看

http://hadoop-senior.beifeng.com:50070/dfshealth.html#tab-datanode

常见错误

如果hostname配置的不正确导致无法启动datanode，修改后重启服务
如果slaves 没有配置导致只启动一个datanode。
错误排查方式：查看logs下的对应日志文件。
sbin/stop-dfs.sh 命令执行的日志也可以查看错误。

停止hdfs时错误

测试hdfs

测试命令（创建hdfs系统中文件夹）：bin/hdsf dfs -mkdir -p /user/beifeng/temp

查看结果

上传文件测试命令： bin/hdfs dfs -put etc/hadoop/*-site.xml /user/beifeng/temp
向132服务器同步数据时报错

报错

意思就是坏的连接网络未通你把防火墙一关就好了。（浪费我2个小时时间）

重启后生效
开启： chkconfig iptables on
关闭： chkconfig iptables off
即时生效，重启后失效
开启： service iptables start
关闭： service iptables stop
解决办法添加端口50010。vi /etc/sysconfig/iptables

测试文件上传put

命令：bin/hdfs dfs -put etc/hadoop/*-site.xml /user/root/user/beifeng/

yarn启动

sbin/start-yarn.sh

启动结果正常

测试yarn服务

bin/hdfs dfs -mkdir -p /user/beifeng/mapreduce/wordcount/input
bin/hdfs dfs -ls /user/beifeng/mapreduce/wordcount/input

上传wordcount需要计算的文件

bin/hdfs dfs -put /opt/modules/hadoop-2.5.0/wc.input /user/beifeng/mapreduce/wordcount/input

测试yarn服务上的MapReduce

命令： bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/beifeng/mapreduce/wordcount/input /user/beifeng/mapreduce/wordcount/output
查看运行结果
bin/hdfs dfs -text /user/beifeng/mapreduce/wordcount/output/part*

微信关注我们

原文链接：https://yq.aliyun.com/articles/510255

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据||hadoop分布式集群安装

集群前先计划虚拟机，看文章大数据||Hadoop分布式部署虚拟机基于伪分布式环境安装进行展开规划机器与服务（） HDFS 文件系统 YARN “云操作系统” JobHistoryServer 历史服务监控修改配置文件，设置服务运行机器节点（）分发HADOOP安装包至各个机器节点依据官方集群安装文档，分别启动各节点相应服务测试 HDFS 、YARN、 MapReduce ，Web UI 监控集群（）配置主节点至各从节点 SSH 无密钥登陆集群基准测试（实际环境必须的，面试题）系统基本环境配置规划机器与服务 copy 伪分布模式步骤 image.png 配置hdfs 配置jdk。配置hdfs的nameNode地址配置hadoop数据存储目录及垃圾回收时间创建hadoop数据存储目录 mkdir -p /opt/app/hadoop-2.5.0/data/tmp 配置secondaryNameNode vi /opt/app/hadoop-2.5.0/etc/hadoop/hdfs-site.xml 配置集群 slaves vi /opt/app/hadoop-2....

2018-02-22

547

启动yarn时报错异常信息错误原因在启动子节点（senior02,senior03）时读取slaves时报错。原因是slaves文件有问题。字符编码的问题。解决方法 1、重新创建slaves文件并初始化。touch slaves 2、重新分发slaves文件到主节点resourcemanager scp -r etc/hadoop/slaves hadoop-senior02.beifeng.com:/opt/app/hadoop-2.5.0/etc/hadoop/ 测试是否可以正常解析子节点无法启动或者停止异常信息错误原因没有在slaves中配置子节点。解决方法修改slaves文件，添加子节点域名集群环境下HDFS上传put文件出错异常信息错误原因复制文件到子节点时无法正常连接132和133子节点。因为防火墙拦截了请求。解决办法关闭防火墙重启后生效开启： chkconfig iptables on 关闭： chkconfig iptables off 即时生效，重启后失效开启： service iptables start 关闭： service...

2018-02-23

523

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。