【原创】hive搭建-低调大师

【原创】hive搭建

2012-07-19 823

本章节主要介绍两部分内容：

1、hive搭建元数据存放于本地文件系统。

2、hive搭建元数据存放于第三方开源数据库mysql。

两者的定义大致如下：

ingle User Mode：此模式连接到一个In-memory的数据库Derby，一般用于Unit Test。
Multi User Mode：通过网络连接到一个数据库中，是最经常使用到的模式。

区别在于如果你用本地文件系统存放hive元数据的话，那么将不支持多用户并发，简单来讲就是只允许一个用户登录hive查询，另外你再开启一个终端登录hive查询会报错，就如下图所示：

hive> show tables;
FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database 'metastore_db', see the next exception for details.
NestedThrowables:
java.sql.SQLException: Failed to start database 'metastore_db', see the next exception for details.
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
下面我们开始搭建本地文件系统存放hive的元数据，步骤很简单！

说一下我的hadoop和hbase版本分别是1.0.3和0.92.1。

我要部署的hive版本是0.8.1-bin这个版本。

1、从 http://labs.renren.com/apache-mirror/hive/ 网站下载适合你版本的hive。然后上传到服务器上。我这里就默认放到/root下了。

2、解压hive-0.8.1-bin.tar.gz

[root@hadoop1 ~]# tar zxvf hive-0.8.1-bin.tar.gz

3、在.bash_profile文件里添加hive环境变量

export HIVE_HOME=/root/hive-0.8.1-bin
export PATH=$HIVE_HOME/bin:$PATH

4、将hbase的jar包拷贝到hive的lib目录下，并且将hive原本的jar包移出，拷贝hbase-site.xml文件到hive的conf目录下

[root@hadoop1 ~]# cp /root/hbase/hbase-0.92.1.jar /root/hive-0.8.1-bin/lib/
[root@hadoop1 ~]# cp /root/hbase/hbase-0.92.1-tests.jar /root/hive-0.8.1-bin/lib/
[root@hadoop1 ~]# mv /root/hive-0.8.1-bin/lib/hbase-0.89.0-SNAPSHOT.jar /home
[root@hadoop1 ~]# mv /root/hive-0.8.1-bin/lib/hbase-0.89.0-SNAPSHOT-tests.jar /home
[root@hadoop1 ~]# cp /root/hbase/conf/hbase-site.xml /root/hive-0.8.1-bin/conf
5、将默认的hive-default.xml.template拷贝一份为hive-site.xml文件

[root@hadoop1 ~]# cp hive-0.8.1-bin/conf/hive-default.xml.template hive-0.8.1-bin/conf/hive-site.xml

6、启动hive，什么都不用配置哦！很简单的！

[root@hadoop1 ~]# hive
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Logging initialized using configuration in jar:file:/root/hive-0.8.1-bin/lib/hive-common-0.8.1.jar!/hive-log4j.properties
Hive history file=/tmp/root/hive_job_log_root_201207200921_612921620.txt
hive> show tables;
OK
Time taken: 4.656 seconds
7、测试hive能否正常工作？我们现在hbase中新建一张表，然后插入点数据，最后在hive中关联上hbase里面的表，看看数据是否一致哈！

hbase(main):005:0> create 'xyz','cf1'
0 row(s) in 1.0680 seconds

hbase(main):006:0> put 'xyz','10000','cf1:val','China'
0 row(s) in 0.1260 seconds

hbase(main):007:0> scan 'xyz'
ROW COLUMN CELL
10000 column=cf1:val, timestamp=1342748087354, value=China
1 row(s) in 0.0310 seconds

在hive的shell里执行下面命令来关联hbase中的表

hive> CREATE EXTERNAL TABLE hbase_table_1(key string, value string)
    > STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    > WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
    > TBLPROPERTIES ("hbase.table.name" = "xyz");
OK
Time taken: 1.186 seconds
hive> select * from hbase_table_1;
OK
10000   China
Time taken: 0.455 seconds
这样基本就测试可以了哈！

第二部分我会写怎么搭建hive，将它的元数据存放于本机的mysql中。配置就复杂了很多了。

1、解压hive-0.8.1-bin.tar.gz

tar zxvf hive-0.8.1-bin.tar.gz

2、在.bash_profile文件里添加hive环境变量并且让其生效

export HIVE_HOME=/root/hive-0.8.1-bin
export PATH=$HIVE_HOME/bin:$PATH

[root@hadoop1 ~]# source .bash_profile
3、把hbase的jar包copy到hive中

[root@hadoop1 ~]# cp -v hbase/hbase-0.92.1.jar hive-0.8.1-bin/lib/
`hbase/hbase-0.92.1.jar' -> `hive-0.8.1-bin/lib/hbase-0.92.1.jar'
[root@hadoop1 ~]# cp -v hbase/hbase-0.92.1-tests.jar hive-0.8.1-bin/lib/
`hbase/hbase-0.92.1-tests.jar' -> `hive-0.8.1-bin/lib/hbase-0.92.1-tests.jar'
[root@hadoop1 ~]# cp -v hbase/conf/hbase-site.xml hive-0.8.1-bin/conf
`hbase/conf/hbase-site.xml' -> `hive-0.8.1-bin/conf/hbase-site.xml'
[root@hadoop1 ~]# mv hive-0.8.1-bin/lib/hbase-0.89.0-SNAPSHOT.jar /home
[root@hadoop1 ~]# mv hive-0.8.1-bin/lib/hbase-0.89.0-SNAPSHOT-tests.jar /home/
4、修改hive环境hive-config.sh，增加hadoop的安装路径，复制配置文件：

export HADOOP_HOME=/root/hadoop
export HIVE_HOME=/root/hive-0.8.1-bin
[root@hadoop1 ~]# cp hive-0.8.1-bin/conf/hive-default.xml.template hive-0.8.1-bin/conf/hive-site.xml

5、安装mysql-5.5.24，这里相信很多朋友就很熟悉了

安装mysql依赖包，我这里安装系统是把所有的包都安装了，所有这步骤省略！

yum -y install bison gcc gcc-c autoconf automake zlib* libxml* ncurses-devel libtool-ltdl-devel*

mysql需要cmake编译，所以先安装cmake

[root@hadoop1 ~]# wget http://www.cmake.org/files/v2.8/cmake-2.8.6.tar.gz
[root@hadoop1 ~]# tar zxvf cmake-2.8.6.tar.gz

[root@hadoop1 ~]# cd cmake-2.8.6
[root@hadoop1 ~]# gmake

[root@hadoop1 ~]# make install

下载mysql的安装包，解压并安装

[root@hadoop1 ~]# wget http://dev.mysql.com/get/Downloads/MySQL-5.5/mysql-5.5.24.tar.gz/from/http://mysql.ntu.edu.tw/
建立mysql用户和组，并且建立mysql存放数据的目录/mysql

[root@hadoop1 ~]# /usr/sbin/groupadd mysql
[root@hadoop1 ~]# /usr/sbin/useradd -g mysql mysql
[root@hadoop1 ~]# mkdir /mysql
[root@hadoop1 ~]# chown -R mysql:mysql /mysql
安装mysql

[root@hadoop1 ~]# tar zxvf mysql-5.5.24.tar.gz
[root@hadoop1 ~]# cd mysql-5.5.24
[root@hadoop1 ~]# cmake . -DCMAKE_INSTALL_PREFIX=/opt/mysql -DMYSQL_DATADIR=/mysql -DSYSCONFDIR=/etc/
[root@hadoop1 ~]# make && make install

拷贝mysql默认配置文件

[root@hadoop1 ~]# cp ./support-files/my-medium.cnf /etc/my.cnf
修改my.cnf文件

在[mysqld]段增加：

datadir = /mysql
wait-timeout = 30
max_connections = 512
default-storage-engine = MyISAM
在[mysqld]段修改：

max_allowed_packet = 16M
生产授权表：

[root@hadoop1 ~]# /opt/mysql/scripts/mysql_install_db --user=mysql
开启mysql：

[root@hadoop1 ~]# /opt/mysql/bin/mysqld_safe &
更改密码：

[root@hadoop1 ~]# /opt/mysql/bin/mysqladmin -u root password 123456
测试连接mysql及授权用户登录:

[root@hadoop1 ~]# /opt/mysql/bin/mysql -u root -p123456
mysql> create user 'hive'@'192.168.3.65' identified by 'hivepasswd';

mysql> grant all privileges on *.* to 'hive'@'192.168.3.65' with grant option;
6、修改hive的配置文件hive-site.xml

修改为如下所示：

[root@hadoop1 ~]# more hive-0.8.1-bin/conf/hive-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

        hive.metastore.local
        true
        controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM


        javax.jdo.option.ConnectionURL
        jdbc:mysql://192.168.3.65:3306/hive?createDatabaseIfNotExist=true
        192.168.3.65 JDBC connect string for a JDBC metastore


        javax.jdo.option.ConnectionDriverName
        com.mysql.jdbc.Driver
        Driver class name for a JDBC metastore


        javax.jdo.option.ConnectionUserName
        hive
        username to use against metastore database


        javax.jdo.option.ConnectionPassword
        hivepasswd
        password to use against metastore database

7、添加jdbc的jar包：

wget http://ftp.iij.ad.jp/pub/db/mysql/Downloads/Connector-J/mysql-connector-java-5.1.18.tar.gz

tar vxf mysql-connector-java-5.1.18.tar.gz

chwon -R hadoop mysql-connector-java-5.1.18/

cp -v mysql-connector-java-5.1.18/mysql-connector-java-5.1.18-bin.jar hive/lib/

8、开启hive并测试

[root@hadoop1 ~]# hive
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Logging initialized using configuration in jar:file:/root/hive-0.8.1-bin/lib/hive-common-0.8.1.jar!/hive-log4j.properties
Hive history file=/tmp/root/hive_job_log_root_201207201723_1051702106.txt
hive> show tables;
OK
Time taken: 3.301 seconds
还是关联hbase中的表测试：

hbase(main):002:0> create 'xyz','cf1'
0 row(s) in 1.1120 seconds

hbase(main):003:0> put 'xyz','10000','cf1:val','China'
0 row(s) in 0.2080 seconds

hbase(main):004:0> put 'xyz','11000','cf1:val','Japanese'
0 row(s) in 0.0320 seconds

hbase(main):005:0> scan 'xyz'
ROW                   COLUMN+CELL
10000                column=cf1:val, timestamp=1342776914297, value=China
11000                column=cf1:val, timestamp=1342776933201, value=Japanese
2 row(s) in 0.0340 seconds

hbase(main):006:0>

在hive中关联此表：

hive> CREATE EXTERNAL TABLE hbase_table_1(key string, value string)
    > STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    > WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
    > TBLPROPERTIES ("hbase.table.name" = "xyz");
OK
Time taken: 1.155 seconds
hive> select * from hbase_table_1;
OK
10000   China
11000   Japanese
Time taken: 0.379 seconds
这样基本就OK了哈！顺便看看mysql中的hive库中存放哪些表？

微信关注我们

原文链接：https://yq.aliyun.com/articles/578648

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【原创】单独部署secondarynamenode

hadoop+hbase+zookeeper集群环境已初步搭建完毕了。但是真正用于生产环境的集群系统必须规范，所以secondarynamenode不可能和namenode部署在同一节点上，于是乎我将secondarynamenode部署在一台datanode上，当然我这条件不允许，最佳的环境就是secondarynamenode单独部署在一台机器上，这样更好！当日secondarynamenode节点可以部署多个。只需要再masters文件里面多写几个节点即可！一行一个！引用别人的一段话： SecondaryNameNode有两个作用，一是镜像备份，二是日志与镜像的定期合并。两个过程同时进行，称为checkpoint 总共分五步： 1.SecondaryNameNode通知NameNode准备提交edits文件，此时主节点产生edits.new 2.SecondaryNameNode通过http get方式获取NameNode的fsimage与edits文件（在SecondaryNameNode的current同级目录下可见到temp.check-point或者previous-c...

2012-07-17

776

Software : hadoop-1.0.3 Vulnerability : Symlink Problem type : local CVE ID : CVE-2012-2945 Date : May 28, 2012 Affected : min May 08, 2012 Symptom: $ echo $JAVA_HOME /usr/lib/jvm/java-7-openjdk $ file /tmp/hadoop-root-tasktracker.pid /tmp/hadoop-root-tasktracker.pid: symbolic link to `/etc/passwd-' $ sh bin/start-all.sh starting namenode, logging to /home/cloudopfer/src/hadoop-1.0.3/libexec/../logs/hadoop-root-namenode-t0.out root@localhost's password: localhost: starting datanode, logging to /...

2012-07-23

825

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。