一、Hive：

1、定义：    Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

    Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

2、特性：

（1）、Hive是Facebook推出的，主要是为了让不懂java的工程师也能通过SQL来驾驭Hadoop集群进行数据分布式数据的多维度分析，甚至你可以只通过Web界面来直接操作Hive。

（2）、Hive的核心是把自己的SQL语言即HQL翻译成MapReduce代码，然后交给Hadoop集群执行，也就是说Hive本身是一个单机版本的软件。

（3）、 由于是用过写SQL来完成业务需求的，所以相对于编程MapReduce而言，非常的简单和灵活，能够非常轻易的满足业务的需要和多变的场景。

（4）、 Hive几乎存在于一切使用大数据的公司中。

二、建表语句：

1、Managed类型的表也叫内部表（hdfs文件需移动到表目录下；drop Managed的表时，元数据和表的数据一并删除掉）：

 CREATE TABLE tbl_t1(id int, userid bigint,

     name string, referrer_url string,

     ip string comment 'IP Address of the User')

 comment 'This is the page view table'

 row format delimited

 fields terminated by '\t';

2、external类型的表也叫外部表（hdfs文件无需移动到表目录下；drop External的表时，只删除元数据）：

CREATE EXTERNAL TABLE tab_ip_ext(id int, name string,

     ip STRING,

     country STRING)

 ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

 STORED AS TEXTFILE

 LOCATION '/external/hive';

3、create as 创建表（ 用于创建一些临时表存储中间结果）

CREATE TABLE tab_ip_ctas

AS

SELECT id new_id, name new_name, ip new_ip,country new_country

FROM tab_ip_ext;

4、创建分区表：（普通表和分区表区别：有大量数据增加的需要建分区表）

create table book (id bigint, name string) partitioned by (pubdate string) row format delimited fields terminated by '\t'; 

三、导入数据：

1、导入数据本地数据：

hive>>load data local inpath '/home/hadoop/test.log' into table tbl_t1;

2、导入hdfs上的数据：

hive>>load data inpath '/tt.log' into table tbl_t1;

3、分区表加载数据:

hive>>load data local inpath './book.txt' overwrite into table book partition (pubdate='2016-08-22');

4、通过hadoop导入数据：

hadoop fs -put book1.txt /usr/hive/test.db/book/

四、partition表：

hive>>create table tab_u_part(id int,name string,ip string,country string) 

    partitioned by (month string)

    row format delimited fields terminated by ',';

hive>>load data local inpath '/home/hadoop/u.txt' overwrite into table tab_u_part

     partition(month='201608');

hive>>select * from tab_u_part;

hive>>select * from tab_u_part where month='201608';

hive>>select count(*) from tab_u_part where  month='201608';

五、select write to hdfs或者select write to local file：

1、local：

insert overwrite local directory '/home/hivetemp/test.txt' select * from tab_u_part where month='201608';    

2、hdfs：

insert overwrite directory '/hiveout.txt' select * from tab_u_part where month='201608'; 

 

六、client shell：

hive -S -e 'select country,count(*) from dbName.tab_ext' > /home/hadoop/hivetemp/e.txt  

有了这种执行机制，就使得我们可以利用脚本语言（bash shell,python）进行hql语句的批量执行

七、自定义函数UDF：

1、数据示例：

13500000001 212 123

13600000001 855 836

13700000001 123 563

13800000001 853 120

13900000001 785 563

create table tab_flow(phone string,uflow int,dflow int) 

    row format delimited fields terminated by ' ';

load data local inpath '/home/f.data' into table tab_flow;

将上面的数据变为：

13500000001 shanghai 212 123

13600000001 beijing 855 836

13700000001 tianjin 123 563

13800000001 chongqing 853 120

13900000001 shenzhen 785 563

2、hive自定义函数如下：

package cn.hive;

import java.util.HashMap;

import org.apache.hadoop.hive.ql.exec.UDF;

public class PhoneNbToArea extends UDF{

private static HashMap<String, String> areaMap = new HashMap<String, String>();

static {

areaMap.put("1350", "shanghai");

areaMap.put("1360", "beijing");

areaMap.put("1370", "tianjin");

        areaMap.put("1380", "chongqing");

        areaMap.put("1390", "shenzhen");

}

//一定要用public修饰才能被hive调用

public String evaluate(String pnb) {

return areaMap.get(pnb.substring(0,4))==null? (pnb+"  other"):(pnb+"  "+areaMap.get(pnb.substring(0,4)));

}

}

3、将自定含义函数的jar添加到hive，并创建函数与jar的关联：

hive>add jar /home/hadoop/myudf.jar;

hive>CREATE TEMPORARY FUNCTION getArea AS 'cn.hive.PhoneNbToArea ';

hive>select getArea(phone),uflow,dflow from tab_flow;