hive1.2伪分布mysql数据库配置详解
hadoop2.6伪分布配置:http://blog.csdn.net/gamer_gyt/article/details/46793731
hive1.2 derby元数据库配置:http://blog.csdn.net/gamer_gyt/article/details/47150621
环境说明
hadoop2.6伪分布 Ubuntu14.04 hive 1.1 MySql 5.5 MySql连接驱动5.1.11
一,hive配置
1.解压hive到相应的目录(我的是/usr/localo/hadoop)
2.重命名为hive
3.设置环境变量
sudo gedit /etc/profile
添加:export HIVE_HOME=/usr/local/hadoop/hive
PATH中添加 $HIVE_HIOME/bin
4.在目录$HIVE_HOME/conf/下,执行命令mv hive-default.xml.template hive-site.xml重命名
在目录$HIVE_HOME/conf/下,执行命令mv hive-env.sh.template hive-env.sh重命名
在目录$HIVE_HOME/bin下面,修改文件hive-config.sh,增加以下内容:
export JAVA_HOME=/usr/local/jdk #你自己的java路径
export HIVE_HOME=/usr/local/hadoop/hive
export HADOOP_HOME=/usr/local/hadoop
修改hive-env.sh 如下图:
========================================================================================
此时hive的就可以正常使用了,不过此时使用的是derby数据库,不能两台机器同时访问
========================================================================================
二,MySql安装
1. 删除mysql
a. sudo apt-get autoremove --purge mysql-server-5.0 b. sudo apt-get remove mysql-server c. sudo apt-get autoremove mysql-server d. sudo apt-get remove mysql-common (非常重要)
上面的其实有一些是多余的,建议还是按照顺序执行一遍
2. 清理残留数据
dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P
3. 安装 mysql
a. sudo apt-get install mysql-server b. sudo apt-get install mysql-client
一旦安装完成,MySQL服务器应该自动启动。您可以在终端提示符后运行以下命令来检查 MySQL 服务器是否正在运行:
4. 检查Mysql是否正在运行
sudo netstat -tap | grep mysql
当您运行该命令时,您可以看到类似下面的行:
root@ubuntu:~# sudo netstat -tap | grep mysql tcp 0 0 localhost.localdo:mysql *:* LISTEN 870/mysqld
如果服务器不能正常运行,您可以通过下列命令启动它:
sudo /etc/init.d/mysql restart
1.把mysql的jdbc驱动放置到hive的lib目录下
2.修改hive-site.xml文件,修改相应的内容如下:
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
注:以上配置出现的两个root即为在安装mysql时候键入的用户名和秘密
============================================================================================
至此,mysql作为元数据库的配置已经完毕
============================================================================================
四,hive web界面访问
1.下载hive-hwi-0.13.1.war 复制到hive目录下的lib文件夹里
2.复制java安装目录的lib文件夹下的tools.jar到hive目录下的lib文件夹
访问界面如图:
五,wrong
若安装过程中出现连接不上或者不能访问,可能是权限问题
进入hadoop安装目录local执行:sudo chown-R hadoop:hadoop./hadoop# 修改文件权限
若出现com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
建议好好查看配置文件hive-site.xml

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
hadoop(2): 安装&使用 sqoop
本文的原文连接是: http://blog.csdn.net/freewebsys/article/details/47722393 未经博主允许不得转载。 1,关于sqoop Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。 官网:http://sqoop.apache.org/ 一个1.4.6 版本,一个是1.99版本(开发版还没有迁移完成,生产环境不推荐) 文档: http://sqoop.apache.org/docs/1.4.6/ 2,安装 参考之前的文章hadoop和hive用的是2.0,所以sqoop这里也用2.0,不过是alpha。直接解压缩。 配置环境变量 export JAVA_HOME=/usr/java/default export CLASS_PATH=$JAVA_HOME/lib export PATH=$JAVA_HOME/bin:$PATH export HADOO...
- 下一篇
浅谈zookeeper的在hbase集群中的作用
一,什么是zookeeper? ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员, Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,ZooKeeper是以Fast Paxos算法为基础,实现同步服务,配置维护和命名服务等分布式应用。 上面的解释感觉还不够,太官方了。Zookeeper 从程序员的角度来讲可以理解为Hadoop的整体监控系统。如果namenode,HMaster宕机后,这时候Zookeeper 的重新选出leader。这是它最大的作用所在。 二、zookeeper的作用 1.Zookeeper加强集群稳定性 Zookeeper通过一种和文件系统很像的层级命名空间来让分布式进程互相协同工作。这些命名空间由一系列数据寄存器组 成,我们也叫这些数据寄存器为znodes。这些znodes就有点像是文件系统中的文件和文件夹。和文件系统不一样的是,文件系统的文...
相关文章
文章评论
共有0条评论来说两句吧...