hive安装配置
hive版本1.2.1
操作系统: Ubuntu 14.04
下载,解包,文件夹名为hive-1.2.1,名字可以随便改,按自己习惯。
放到安装目录下,这里为/usr/local/hive,则目录结构为/usr/local/hive/hive-1.2.1
向hive-1.2.1/bin目录下的hive-config.sh添加环境变量,包括JAVA_HOME, HADOOP_HOME, CLASSPATH, 总之将环境变量复制过来即可
将hive-1.2.1/conf目录下带template后缀的文件全部原地复制一份,如图
其中hive-default.xml在复制一份,命名为hive-site.xml,这两个文件一个是全局配置,一个是用户配置,用户配置会覆盖全局配置。
修改hive-site.xml文件里所有涉及system:java.io.tmpdir的项,否则可能会报错,如图
全部改为本地目录,具体可以在hive目录下新建目录iotmp,因此全部配置为/usr/local/hive/hive-1.2.1/iotmp,如图
启动hadoop,在hadoop下新建目录,/tmp,/user/hive/warehouse,赋予读写权限,官方教程上只赋予组的写权限,貌似不行,最后索性赋予全部权限,可以了,命令如下
/bin/hadoop fs -mkdir /tmp
/bin/hadoop fs -mkdir /user/hive/warehouse
/bin/hadoop fs -chmod -R +777 /tmp(官网上为,/bin/hadoop fs -chmod g+w /tmp)
/bin/hadoop fs -chmod g+w /user/hive/warehouse
最后,启动hive。
关于mysql作为metadata存储,还没有研究,暂时先这样。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Win 7 eclipse访问虚拟机上hadoop
因为hadoop安装在虚拟机里,虚拟机同时带不动eclipse和hadoop,就打算在windows下eclipse访问虚拟机里的hadoop,搜索了一下,需要做如下配置。 操作系统:Windows 7 hadoop:1.2.1 首先配置eclipse,安装hadoop插件,然后在window->preferences->hadoop map/reduce设置windows下hadoop路径,这里的hadoop只需将于linux下安装的同版本的hadoop解压到windows目录下就可,如图 在eclipse配置一些参数,要保证windows用户名与linux用户名相同,这样避免一些权限问题,如图 配置一些高级参数,如web管理页面的ip地址,因为是是在物理机访问虚拟机,虚拟机网络设置为NAT方式,指定IP,可在VMware virtual network editor里面配置ip,hadoop web管理页面原先伪分布模式访问url是localhost:50030和localhost:50070,这里需要变成虚拟机的ip地址,在eclipse hadoop高级配置里凡是与...
- 下一篇
hive连接数
使用hive分析日志作业很多的时候,需要修改mysql的默认连接数 修改方法 打开/etc/my.cnf文件 在[mysqld] 中添加max_connections=1000 重启mysql服务 service mysqld restart mysql>show variables like '%max_connections%'; 查看当前mysql的连接数方法 mysqladmin -uroot -p status 其中,Uptime:mysqld运行时间,单位秒。 Threads: 当前连接数。 Questions: 从启动以来的查询数目。 Slow queries:慢查询数目。 Opens: 从启动以来打开过的表数目。 Flush tables: 从启动以来flush的表数目。 Open tables: 当前打开的表数目。 Queries per second avg:平均每秒查询数目。 分别查看mysqld的运行情况和活动连接列表 mysqladmin -u root processlist status
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS7设置SWAP分区,小内存服务器的救世主
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8安装Docker,最新的服务器搭配容器使用
- 设置Eclipse缩进为4个空格,增强代码规范
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题