大数据||分布式部署常遇到的问题及基准测试
启动yarn时报错 异常信息 错误原因 在启动子节点(senior02,senior03)时读取slaves时报错。原因是slaves文件有问题。字符编码的问题。 解决方法 1、重新创建slaves文件并初始化。touch slaves 2、重新分发slaves文件到主节点resourcemanager scp -r etc/hadoop/slaves hadoop-senior02.beifeng.com:/opt/app/hadoop-2.5.0/etc/hadoop/ 测试是否可以正常解析 子节点无法启动或者停止 异常信息 错误原因 没有在slaves中配置子节点。 解决方法 修改slaves文件,添加子节点域名 集群环境下HDFS上传put文件出错 异常信息 错误原因 复制文件到子节点时无法正常连接132和133子节点。因为防火墙拦截了请求。 解决办法 关闭防火墙 重启后生效 开启: chkconfig iptables on 关闭: chkconfig iptables off 即时生效,重启后失效 开启: service iptables start 关闭: service...
