HIVE 介绍

Hive 是一个基于 Hadoop 的开源数据仓库工具，用于存储和处理海量结构化数据。 它把海量数据存储于 hadoop 文件系统，而不是数据库，但提供了一套类数据库的数据存储和处理机制，并采用 HQL （类 SQL ）语言对这些数据进行自动化管理和处理。我们可以把 Hive 中海量结构化数据看成一个个的表，而实际上这些数据是分布式存储在 HDFS 中的。 Hive 经过对语句进行解析和转换，最终生成一系列基于 hadoop 的 map/reduce 任务，通过执行这些任务完成数据处理。
Hive 诞生于 facebook 的日志分析需求，面对海量的结构化数据， Hive 以较低的成本完成了以往需要大规模数据库才能完成的任务，并且学习门槛相对较低，应用开发灵活而高效。
来源：百科
风.fox

Hadoop安装

http://blog.csdn.net/fenglailea/article/details/53318459

环境

CENTOS7
hive 版本 2.1.0
当前用户:hadoop

HIVE 下载安装

http://hive.apache.org/
http://www.apache.org/dyn/closer.cgi/hive/
http://apache.fayea.com/hive/

wget http://apache.fayea.com/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
tar -zxvf apache-hive-2.1.0-bin.tar.gz
mv apache-hive-2.1.0-bin ~/hive

HIVE设置环境变量

vim  ~/.bash_profile

最后加入

export HIVE_HOME=/home/hadoop/hive
export PATH=$PATH:$HIVE_HOME/bin

应用

.  ~/.bash_profile

HIVE配置修改

cp -rf /home/hadoop/hive/conf/hive-default.xml.template /home/hadoop/hive/conf/hive-site.xml

vim /home/hadoop/hive/conf/hive-site.xml

部分参数修改为

<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseInfoNotExist=true</value> 
            <description>JDBC connect string for a JDBC metastore</description>
      </property>
      <property>
            <name>javax.jdo.option.ConnectionDriverName</name>
            <value>com.mysql.jdbc.Driver</value>
            <description>Driver class name for a JDBC metastore</description>
      </property>
      <property>
            <name>javax.jdo.option.ConnectionUserName</name>
            <value>hive</value>
            <description>数据库用户名</description>
      </property>
    <property>
            <name>javax.jdo.option.ConnectionPassword</name>
            <value>xujun</value>
            <description>数据库密码</description>
      </property>
      <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/home/hadoop/hive/tmp</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
  <property>
    <name>hive.downloaded.resources.dir</name>
    <value>/home/hadoop/hive/tmp</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>
  <property>
    <name>hive.querylog.location</name>
    <value>/home/hadoop/hive/tmp</value>
    <description>Location of Hive run time structured log file</description>
  </property>

下载mysql-connector-java驱动包

下载地址
http://dev.mysql.com/downloads/connector/j/
放到 $HIVE_HOME/lib目录下

启动

hive

参考
https://my.oschina.net/gently/blog/683580
http://blog.csdn.net/an342647823/article/details/46048403
http://www.cnblogs.com/linbingdong/p/5829369.html