基于Ubuntu Hadoop的群集搭建Hive

2016-12-21 540

Hive是Hadoop生态中的一个重要组成部分，主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop的群集，下面我们在这个群集上再搭建Hive的群集。

1.安装MySQL

1.1安装MySQL Server

在Ubuntu下面安装MySQL的Server很简单，只需要运行：

sudo apt-get install mysql-server

系统会把MySQL下载并安装好。这里我们可以把MySQL安装在master机器上。

安装后需要配置用户名密码和远程访问。

1.2配置用户名密码

首先我们以root身份登录到mysql服务器：

sudo mysql -u root

然后修改root的密码，并允许root远程访问：

GRANT ALL PRIVILEGES ON *.* TO root@'%' IDENTIFIED BY "123456";

我们这里还可以为hive建立一个用户，而不是用root用户：

GRANT ALL PRIVILEGES ON *.* TO hive@'%' IDENTIFIED BY "hive";

运行完成后quit命令即可退出mysql的命令行模式。

1.3配置远程访问

默认情况下，MySQL是只允许本机访问的，要允许远程机器访问需要修改配置文件

sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf

找到bind-address的配置部分，然后改为：

bind-address = 0.0.0.0

保存，重启mysql服务

sudo service mysql restart

重启完成后，我们可以在Windows下，用MySQL的客户端连接master上的MySQL数据库，看是否能够远程访问。

2.下载并配置Hive

2.1下载Hive

首先我们到官方网站，找到Hive的下载地址。http://www.apache.org/dyn/closer.cgi/hive/ 会给出一个建议的网速快的下载地址。

然后在master服务器上，wget下载hive的编译好的文件，我现在最新版是Hive 2.1.1 ：

wget http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz

下载完成后，解压这个压缩包

tar xf apache-hive-2.1.1-bin.tar.gz

按之前Hadoop的惯例，我们还是把Hive安装到/usr/local目录下吧，所以移动Hive文件：

sudo mv apache-hive-2.1.1-bin /usr/local/hive

2.2配置环境变量

sudo vi /etc/profile

增加如下配置：

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:/usr/local/hive/lib

2.3配置hive-env.sh

所有Hive的配置是在/usr/local/hive/conf目录下，进入这个目录，我们需要先基于模板新建hive-env.sh文件：

cp hive-env.sh.template hive-env.sh
vi hive-env.sh

指定Hadoop的路径，增加以下行：

HADOOP_HOME=/usr/local/hadoop

2.4配置hive-site.xml

cp hive-default.xml.template hive-site.xml
vi hive-site.xml

首先增加mysql数据库的连接配置：

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
  <description>password to use against metastore database</description>
</property>

然后需要修改临时文件夹的路径，找到以下2个配置，并改为正确的路径：

 <property> 
 <name>hive.exec.local.scratchdir</name>
 <value>/home/hduser/iotmp</value>
 <description>Local scratch space for Hive jobs</description>
 </property>
 <property>
 <name>hive.downloaded.resources.dir</name>
 <value>/home/hduser/iotmp</value>
 <description>Temporary local directory for added resources in the remote file system.</description>
 </property>

这里因为我当前用户是hduser，所以我在hduser的目录下创建一个iotmp文件夹，并授权：

mkdir -p /home/hduser/iotmp 
chmod -R 775 /home/hduser/iotmp

2.5修改hive-config.sh

进入目录/usr/local/hive/bin

vi hive-config.sh

在该文件的最前面加入以下配置：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 
export HADOOP_HOME=/usr/local/hadoop 
export HIVE_HOME=/usr/local/hive

2.6下载MySQL JDBC驱动

去MySQL的官网，https://dev.mysql.com/downloads/connector/j/ 下载JDBC驱动到master服务器上。

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.40.tar.gz

下载完后解压

tar xf mysql-connector-java-5.1.40.tar.gz

然后进入解压后的目录，把jar包复制到Hive/lib目录下面

cp mysql-connector-java-5.1.40-bin.jar /usr/local/hive/lib/

2.7在HDFS中创建目录和设置权限

启动Hadoop，在Hadoop中创建Hive需要用到的目录并设置好权限：

hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

2.8初始化meta数据库

进入/usr/local/hive/lib目录，初始化Hive元数据对应的MySQL数据库：

schematool -initSchema -dbType mysql

3.使用Hive

在命令行下，输入hive命令即可进入Hive的命令行模式。我们可以查看当前有哪些数据库，哪些表：

show databases;
show tables;

关于hive命令下有哪些命令，具体介绍，可以参考官方文档：https://cwiki.apache.org/confluence/display/Hive/Home

3.1创建表

和普通的SQL创建表没有太大什么区别，主要是为了方便，我们设定用\t来分割每一行的数据。比如我们要创建一个用户表：

create table Users (ID int,Name String) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

3.2插入数据

是insert语句可以插入单条数据：

insert into Users values(1,'Devin');

如果要导入数据

我们在Ubuntu下创建一个name.txt文件，然后编辑其中的内容，添加如下内容：

2       Edward
3       Mindy
4       Dave
5       Joseph
6       Leo

列直接我是用Tab隔开的。

如果想把这个txt文件导入hive的Users 表，那么只需要在hive中执行：

LOAD DATA LOCAL INPATH '/home/hduser/names.txt' into table Users ;

3.3查询数据

仍然是sql语句：

select * from Users ;

当然我们也可以跟条件的查询语句：

select * from Users where Name like 'D%';

3.4增加一个字段

比如我们要增加生日这个字段，那么语句为：

alter table Users add columns (BirthDate date);

3.5查询表定义

我们看看表的结构是否已经更改，查看Users表的定义：

desc Users;

3.6其他

另外还有重名了表，删除表等，基本也是SQL的语法：

alter table Users rename to Student;

删除一个表中的所有数据：

truncate table Student;

【另外需要注意，Hive不支持update和delete语句。似乎只有先truncate然后在重新insert。】

【本文章出自博客园深蓝居，转载请注明作者出处,如果您觉得博主的文章对您有很大帮助，欢迎点击右侧打赏按钮对博主进行打赏。】
打个招聘广告，博主正在主导开发一个跨链区块链项目：PalletOne，一直在招Go程序员，待遇丰厚，坐标北京酒仙桥，希望有识之士加入！

微信关注我们

原文链接：https://yq.aliyun.com/articles/628028

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

分布式(hadoop)内核研发面试指南

最近一直在看简历，面试同学，发现符合要求的很少。本文是同学们进入阿里云等公司的hadoop内核研发岗位的一个指引，需要具备哪些要求，如果不具备则可以往这方面努力。如果以下的问题不能很好回答，还是多多学习啊。如果很好回答，对阿里云有兴趣，欢迎找我。面试：基础能力这里涉及一般为语言基础知识（一般需要在某语言2年以上经验）比如：JVM的GC算法，JAVA多线程并发机制，线程安全机制，OOM咋办，core了咋办算法基础知识，冒泡排序、链表、树、线性回归…… 分布式理论：数据分布方式、Lease机制、日志技术、两阶段提交、CAP理论、Quorum机制操作系统…… 复杂工程能力就是有没有做过，多人协作的项目你在其中什么角色？一般项目有啥难点，遇到难点怎么办？逻辑思维能力及表达能力考查思维，思路。需要清楚的回答上述的一些问题，不卑不亢。潜力就

2016-12-21

691

这本书算是我接触的第一本大数据类书籍，之前学习大数据相关知识都是通过阅读网上的博客和相关大数据技术文章。然而，对于一门比较复杂的技术来说，如果不能系统性的学习，是很难真正掌握的。《大数据处理之道》覆盖了最近比较热门的大数据处理技术，其中包括Hadoop，Spark等。本书不仅仅只停留在大数据技术技术的表面。比如说Spark，本书从Spark的诞生，Spark的发展，Spark与其他大数据技术的横向比较，Spark的应用场景，Spark的硬件配置，到Spart的构架，深入浅出的为读者描述了Spark的特点和应用场景。本书中涉及到的大数据技术，除了Spark之外，还包括了Hadoop，Storm，Dremel，Drill等。是一本非常适合初学者的大数据技术类书籍。

2016-12-21

679

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。