DKhadoop开发环境安装常见问题与解决方法汇总
Dkhadoop版本的下载安装以及运行环境搭建等各个方面内容基本都已经分享过了,今天给大家就dkhadoop开发环境安装中常见的问题以及解决方法进行汇总整理,希望对一些朋友有帮助吧!
DKHadoop安装问题整理
1、系统安装
如果没有联网,请手动同步时间
如果联网请同步为中国时区
2、集群免密登录问题
1):主机名一定要区分大小写,否则免密不成功
2):运行sshpass.sh的时候,必须是在/root/下 并且参数是集群密码(如果不是123456请输入自己的密码!!!!!!!!),避免输入错误。
3、MySQL安装问题
1): 如果出现类似:bash “ MySQL ”command not found 就需要运行:
source /etc/profile
2):执行 ./sync的时候 必须输入另一台的IP
4、DKH启动安装
1):如果登录不进去,回忆一下运行changeMaster的时候是不是输入错误。如果输入错误,必须手动修改文件:
vi /root/DKHInstall/webapps/DKH/WEB-INF/classes/dbconfig.properties
vi /root/DKHInstall/webapps/DKH/WEB-INF/classes/wsconfig.properties
将输错的IP更改过来
2):按步骤执行,输入主机名称和IP(安装过程中不要刷新页面!!!)
3):安装需使用火狐浏览器
4):测试平台只提供三台及三台以上五台及五台以下的机器安装。
5、impala安装
1):如果没有联网 impala跳过安装(局域网不算联网!!!!)
2):如果需要impala,并且没有联网 ,请看本地yum源搭建。
6、从节点namenode异常
因为同步元数据忘了启动,在从节点上执行(其中的IP为从节点IP):
ssh root@10.1.56.09
/opt/dkh/Hadoop-2.6.0/sbin/Hadoop-daemon.sh start namenode
7、装系统报错误没有JAVA_HOME
1)每台机器都执行vi /etc/profile
把 export JAVA_HOME= /opt/dkh/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
三条命令加在最下面,保存之后执行命令行:
source /etc/profile
2)执行命令行:
cd /root/install
./installJDK.sh 主机名1 主机名2 主机名3
然后启动tomcat命令行:
cd /root/DKHInstall/bin/
./startup.sh
3)执行vi /opt/dkh/DKM/bin/catalina.sh
export JAVA_HOME= /opt/dkh/jdk1.7.0_79
export JRE_HOME= /opt/dkh/jdk1.7.0_79/jre
把上面两行命令加到第二行 保存
注意每台机器都要改
4)执行 vi /opt/dkh/DkSou/bin/catalina.sh
export JAVA_HOME= /opt/dkh/jdk1.7.0_79
export JRE_HOME= /opt/dkh/jdk1.7.0_79/jre
把上面两行命令加到第二行 保存
注意每台机器都要改
8、启动kafka
/opt/dkh/kafka*/bin/kafka-server-start.sh /usr/local/kafka*/config/server.properties >> /opt/dkh/kafka*/config/kafka-server.log 2>&1 &
注意:这是一条命令, 每台机器上都要运行
9、启动dkm dksou
/opt/dkh/DKM/bin/startup.sh
/opt/dkh/DkSou/bin/startup.sh
每台机器都要执行
10、集群免密问题
执行完集群免密之后要SSH一下,看看集群免密是否操作成功。不成功说明对应关系没写好。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
亿级流量电商系统多级缓存架构
亿级流量电商系统多级缓存架构 Redis基础 数据类型String hash list set zset java操作Redis redis的RDB和AOF两种持久化机制 Redis Transcation Redis高级 redis企业级数据备份 Lua脚本与redis抢红包实战案例 redis的读写分离架构应对高并发请求 redis哨兵架构 redis容灾策略 redis如何在保持主从复制和高可用架构 redis 集群的动态增删节点 Kafka +Storm + Zookeeper + flume整合 Kafka体系结构、存储策略、分区、发布与订阅 Kafka 整合zookeeper协调管理 java scala操作kafka Flume和Storm与Kafka整合 Storm集群构建、配置文件以及常见问题解决 Storm分组策略以及常用组件和第一个Storm实例 Storm整合消息队列、Storm Trident以及整合Hadoop2.x kafka+ehcache+redis开发缓存数据生产服务 Nginx + Lua 流量数据实时上报 Strom + Kafka开发实时...
- 下一篇
高性能Spark作业基础:你必须知道的调优原则及建议
在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团点评,已经有很多同学在各种项目中尝试使用Spark。大多数同学(包括笔者在内),最初开始尝试使用Spark的原因很简单,主要就是为了让大数据计算作业的执行速度更快、性能更高。 然而,通过Spark开发出高性能的大数据计算作业,并不是那么简单的。如果没有对Spark作业进行合理的调优,Spark作业的执行速度可能会很慢,这样就完全体现不出Spark作为一种快速大数据计算引擎的优势来。因此,想要用好Spark,就必须对其进行合理的性能优化。 Spark的性能调优实际上是由很多部分组成的,不是调节几个参数就可以立竿见影提升作业性能的。我们需要根据不同的业务场景以及数据情况,对Spark作业进行综合性的分析,然后进行多个方面的调节和优化,才能获得最佳性能。 笔者根据之前的Spark作业开发经验以及实践积累,总结出了一套Spark作业的性能优化方案。整套方案主要分为开发调优...
相关文章
文章评论
共有0条评论来说两句吧...