Hadoop Hive
一、Hive：
1、定义： Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
2、特性：
（1）、Hive是Facebook推出的，主要是为了让不懂java的工程师也能通过SQL来驾驭Hadoop集群进行数据分布式数据的多维度分析，甚至你可以只通过Web界面来直接操作Hive。
（2）、Hive的核心是把自己的SQL语言即HQL翻译成MapReduce代码，然后交给Hadoop集群执行，也就是说Hive本身是一个单机版本的软件。
（3）、 由于是用过写SQL来完成业务需求的，所以相对于编程MapReduce而言，非常的简单和灵活，能够非常轻易的满足业务的需要和多变的场景。
（4）、 Hive几乎存在于一切使用大数据的公司中。
二、建表语句：
1、Managed类型的表也叫内部表（hdfs文件需移动到表目录下；drop Managed的表时，元数据和表的数据一并删除掉）：
CREATE TABLE tbl_t1(id int, userid bigint,
name string, referrer_url string,
ip string comment 'IP Address of the User')
comment 'This is the page view table'
row format delimited
fields terminated by '\t';
2、external类型的表也叫外部表（hdfs文件无需移动到表目录下；drop External的表时，只删除元数据）：
CREATE EXTERNAL TABLE tab_ip_ext(id int, name string,
ip STRING,
country STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION '/external/hive';
3、create as 创建表（ 用于创建一些临时表存储中间结果）
CREATE TABLE tab_ip_ctas
AS
SELECT id new_id, name new_name, ip new_ip,country new_country
FROM tab_ip_ext;
4、创建分区表：（普通表和分区表区别：有大量数据增加的需要建分区表）
create table book (id bigint, name string) partitioned by (pubdate string) row format delimited fields terminated by '\t';
三、导入数据：
1、导入数据本地数据：
hive>>load data local inpath '/home/hadoop/test.log' into table tbl_t1;
2、导入hdfs上的数据：
hive>>load data inpath '/tt.log' into table tbl_t1;
3、分区表加载数据:
hive>>load data local inpath './book.txt' overwrite into table book partition (pubdate='2016-08-22');
4、通过hadoop导入数据：
hadoop fs -put book1.txt /usr/hive/test.db/book/
四、partition表：
hive>>create table tab_u_part(id int,name string,ip string,country string)
partitioned by (month string)
row format delimited fields terminated by ',';
hive>>load data local inpath '/home/hadoop/u.txt' overwrite into table tab_u_part
partition(month='201608');
hive>>select * from tab_u_part;
hive>>select * from tab_u_part where month='201608';
hive>>select count(*) from tab_u_part where month='201608';
五、select write to hdfs或者select write to local file：
1、local：
insert overwrite local directory '/home/hivetemp/test.txt' select * from tab_u_part where month='201608';
2、hdfs：
insert overwrite directory '/hiveout.txt' select * from tab_u_part where month='201608';
六、client shell：
hive -S -e 'select country,count(*) from dbName.tab_ext' > /home/hadoop/hivetemp/e.txt
有了这种执行机制，就使得我们可以利用脚本语言（bash shell,python）进行hql语句的批量执行
七、自定义函数UDF：
1、数据示例：
13500000001 212 123
13600000001 855 836
13700000001 123 563
13800000001 853 120
13900000001 785 563
create table tab_flow(phone string,uflow int,dflow int)
row format delimited fields terminated by ' ';
load data local inpath '/home/f.data' into table tab_flow;
将上面的数据变为：
13500000001 shanghai 212 123
13600000001 beijing 855 836
13700000001 tianjin 123 563
13800000001 chongqing 853 120
13900000001 shenzhen 785 563
2、hive自定义函数如下：
package cn.hive;
import java.util.HashMap;
import org.apache.hadoop.hive.ql.exec.UDF;
public class PhoneNbToArea extends UDF{
private static HashMap<String, String> areaMap = new HashMap<String, String>();
static {
areaMap.put("1350", "shanghai");
areaMap.put("1360", "beijing");
areaMap.put("1370", "tianjin");
areaMap.put("1380", "chongqing");
areaMap.put("1390", "shenzhen");
}
//一定要用public修饰才能被hive调用
public String evaluate(String pnb) {
return areaMap.get(pnb.substring(0,4))==null? (pnb+" other"):(pnb+" "+areaMap.get(pnb.substring(0,4)));
}
}
3、将自定含义函数的jar添加到hive，并创建函数与jar的关联：
hive>add jar /home/hadoop/myudf.jar;
hive>CREATE TEMPORARY FUNCTION getArea AS 'cn.hive.PhoneNbToArea ';
hive>select getArea(phone),uflow,dflow from tab_flow;
