hadoop搭建之hive安装
本文hive安装环境
系统:centos6.9
jdk:jdk1.8.0_201
hadoop:hadoop-2.7.2
HBase:hbase-1.2.4
zookeeper:zookeeper-3.4.9
mysql:mysql-server
hive安装版本:
apache-hive-2.1.1
mysql数据库连接安装包
mysql-connector-java-5.1.44-bin.jar
1、下载安装包
apache-hive-2.1.1-bin.tar.gz
2、将下载的安装包上传到centos6.9b并解压,重新命名为hive
3、配置环境变量(在root下)
输入命令vi /ect/profile # Hive environment export HIVE_HOME=/opt/modules/hive export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH
4、source /etc/profile 生效环境变量
5、将mysql连接安装包mysql-connector-java-5.1.44-bin.jar放到hive中的lib文件下
5、修改hive配置文件,切换至目录cd /opt/modules/hive/conf,把初始化文件复制一份并改名
cp hive-env.sh.template hive-env.sh cp hive-default.xml.template hive-site.xml cp hive-log4j2.properties.template hive-log4j2.properties cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
6、新建hive在hdfs的缓存目录(配置文件会用到)
hadoop fs -mkdir hbase hadoop fs -mkdir hbase/temp
7、在hive目录下,建立temp文件夹(配置文件会用到)
8、修改hive-env.sh
#hadoop这里根据你的地址 export HADOOP_HOME=/opt/modules/hadoop export HIVE_CONF_DIR=/opt/modules/hive/conf export HIVE_HOME=/opt/modules/hive export HIVE_AUX_JARS_PATH=/opt/modules/hive/lib
9、在mysql数据库中新建hive数据库
10、修改hive-site.xml(文件信息比较多,用Ctrl搜索name值,修改value值即可)
配置数据库 <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://主机名:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value> </property> #配置连接驱动 <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> #配置数据库用户名 <property> <name>javax.jdo.option.ConnectionUserName</name> <value>用户名</value> </property> #配置数据库密码 <property> <name>javax.jdo.option.ConnectionPassword</name> <value>密码</value> </property> #配置缓存目录: <property> <name>hive.metastore.warehouse.dir</name> #刚才创建的第一个 <value>/hbase</value> <description> location of default database for the warehouse </description> </property> <property> <name>hive.exec.scratchdir</name> #刚才建的第二个目录 <value>/hbase/temp</value> <description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/<username> is created, with ${hive.scratch.dir.permission}.</description> </property> #配置刚才在hive建的temp文件 <property> <name>hive.querylog.location</name> <value>/opt/modules/hive/tmp${user.name}</value> <description>Location of Hive run time structured log file</description> </property> 在配置文件 hive-site.xml 里面把 {system:java.io.tmpdir} 改成 /opt/modules/hive/temp 把 {system:user.name} 改成 {user.name}
11、初始化hive,输入命令
schematool -initSchema -dbType mysql
初始化成功会有以下提示
Starting metastore schema initialization to 2.1.0
Initialization script hive-schema-2.1.0.derby.sql
Initialization script completed
12、输入命令hive,进入hive进行测试
总结:最近在学习配置的时候,对于路径的理解不是很深入,总是会出现大大小小的问题,经过练习,对于路径能熟悉很多,大多数的事情都是从不熟悉到熟悉,慢慢坚持
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
hbase之hbase常用shell命令
1、普通操作 进入shell [qiqi@c1 ~]$ hbase shell 查看当前用户 hbase(main):001:0> whoami (如果有 kerberos 认证,需要事先使用相应的 keytab 进行一下认证(使用 kinit 命令), 认证成功之后再使用 hbase shell 进入可以使用 whoami 命令可查看当前用户) 删除错误ctrl+backspace(退格键) 2、表的管理 查看表结构 hbase(main):017:0> describe 'user' 查看有哪些表 hbase(main):002:0> list 创建表 hbase(main):014:0> creat 'user','info'(表名为user,簇名为info)create 'qiqi',{NAME=>'keke',VERSIONS=>8},{NAME=>'xiaoxiao',VERSIONS=>8}(表名为qiqi,簇名keke、xiaoxiao,) 删除表,分两步:首先 disable,然后 drop hbase(main):00...
- 下一篇
Flask 教程 第十六章:全文搜索
本文转载自:https://www.jianshu.com/p/56cfc972d372 这是Flask Mega-Tutorial系列的第十六部分,我将在其中为Microblog添加全文搜索功能。 本章的目标是为Microblog实现搜索功能,以便用户可以使用自然语言查找有趣的用户动态内容。许多不同类型的网站,都可以使用Google,Bing等搜索引擎来索引所有内容,并通过其搜索API提供搜索结果。 这这方法适用于静态页面较多的的大部分网站,比如论坛。 但在我的应用中,基本的内容单元是一条用户动态,它是整个网页的很小一部分。 我想要的搜索结果的类型是针对这些单独的用户动态而不是整个页面。 例如,如果我搜索单词“dog”,我想查看任何用户发表的包含该单词的动态。 很明显,显示所有包含“dog”(或任何其他可能的搜索字词)的用户动态的页面并不存在,大型搜索引擎也就无法索引到它。所以,我别无选择,只能自己实现搜索功能。 本章的GitHub链接为:Browse,Zip,Diff. 全文搜索引擎简介 对于全文搜索的支持不像关系数据库那样是标准化的。 有几种开源的全文搜索引擎:Elasticse...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- MySQL8.0.19开启GTID主从同步CentOS8
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS7设置SWAP分区,小内存服务器的救世主