HIVE的分区通过在创建表时启用partitionby实现，用来partition的维度并不是实际数据的某一列，具体分区的标志是由插入内容时给定的。当要查询某一分区的内容时可以采用where语句，形似where tablename.partition_key >a来实现。

create table student(Sno int,Sname string,Sex string,Sage int,Sdept string)row format delimited fields terminated by ','stored as textfile;
create table course(Cno int,Cname string) row format delimited fields terminated by ',' stored as textfile;
create table sc(Sno int,Cno int,Grade int)row format delimited fields terminated by ',' stored as textfile;

load data local inpath '/home/admin1/hadoop/lx/students.txt' overwrite into table student;
load data local inpath '/home/admin1/hadoop/lx/sc.txt' overwrite into table sc;
load data local inpath '/home/admin1/hadoop/lx/course.txt' overwrite into table course;

package cn.tf.hive;

import java.util.HashMap;

import org.apache.hadoop.hive.ql.exec.UDF;

public class ConvertUDF extends UDF{

	private static HashMap<String,String>  provinceMap=new HashMap<String,String>();
	static{
		provinceMap.put("137", "北京");
		provinceMap.put("138", "上海");
		provinceMap.put("139", "天津");
		provinceMap.put("151", "深圳");
	}
	
	public  String   evaluate(String phone){
		
		String gsd=provinceMap.get(phone.substring(0,3));
		if(gsd==null){
			gsd="other";
		}
		return gsd;		
	}
	
	public  long evaluate(long upflow,long downflow){
		
		return (upflow+downflow);
	}
	
}

hive>CREATE TEMPORARY FUNCTION convert AS 'cn.tf.hive.ConvertUDF';

hive> create table t_flow(phone string,url string,upflow int,downflow int)
    > row format delimited
    > fields terminated by ',';

select phone,convert(phone),url,convert(upflow,downflow)  from t_flow;

hive> create table t_flow_result
    > as
    > select phone,convert(phone),url,convert(upflow,downflow)  from t_flow;

5.1 空值数据倾斜

场景：如日志中，常会有信息丢失的问题，比如全网日志中的user_id，如果取其中的user_id和bmw_users关联，会碰到数据倾斜的问题。

解决方法1： user_id为空的不参与关联

Select * From log a
Join bmw_users b
On a.user_id is not null
And a.user_id = b.user_id
Union all
Select * from log a
where a.user_id is null;

解决方法2 ：赋与空值分新的key值

Select *  
from log a 
left outer join bmw_users b 
on case when a.user_id is null thenconcat(‘dp_hive’,rand() ) else a.user_id end = b.user_id; 

结论：方法2比方法效率更好，不但io少了，而且作业数也少了。方法1 log读取两次，jobs是2。方法2 job数是1 。这个优化适合无效id(比如-99,’’,null等)产生的倾斜问题。把空值的key变成一个字符串加上随机数，就能把倾斜的数据分到不同的reduce上 ,解决数据倾斜问题。附上hadoop通用关联的实现方法（关联通过二次排序实现的，关联的列为parition key,关联的列c1和表的tag组成排序的group key,根据parition key分配reduce。同一reduce内根据group key排序）

5.2   不同数据类型关联产生数据倾斜

场景：一张表s8的日志，每个商品一条记录，要和商品表关联。但关联却碰到倾斜的问题。s8的日志中有字符串商品id,也有数字的商品id,类型是string的，但商品中的数字id是bigint的。猜测问题的原因是把s8的商品id转成数字id做hash来分配reduce，所以字符串id的s8日志，都到一个reduce上了，解决的方法验证了这个猜测。

解决方法：把数字类型转换成字符串类型

Select * from s8_log a
Left outer join r_auction_auctions b
On a.auction_id = cast(b.auction_id asstring);

5.3 Join的数据偏斜

MapReduce编程模型下开发代码需要考虑数据偏斜的问题，Hive代码也是一样。数据偏斜的原因包括以下两点：

1. Map输出key数量极少，导致reduce端退化为单机作业。

2. Map输出key分布不均，少量key对应大量value，导致reduce端单机瓶颈。

Hive中我们使用MapJoin解决数据偏斜的问题，即将其中的某个表（全量）分发到所有Map端进行Join，从而避免了reduce。这要求分发的表可以被全量载入内存。

极限情况下，Join两边的表都是大表，就无法使用MapJoin。

这种问题最为棘手，目前已知的解决思路有两种：

1. 如果是上述情况1，考虑先对Join中的一个表去重，以此结果过滤无用信息。这样一般会将其中一个大表转化为小表，再使用MapJoin 。

一个实例是广告投放效果分析，例如将广告投放者信息表i中的信息填充到广告曝光日志表w中，使用投放者id关联。因为实际广告投放者数量很少（但是投放者信息表i很大），因此可以考虑先在w表中去重查询所有实际广告投放者id列表，以此Join过滤表i，这一结果必然是一个小表，就可以使用MapJoin。

2. 如果是上述情况2，考虑切分Join中的一个表为多片，以便将切片全部载入内存，然后采用多次MapJoin得到结果。

例如，以下语句实现了一个inner join逻辑，将商品信息表拆分成2个表：

select * from
(
select w.id, w.time, w.amount, i1.name, i1.loc, i1.cat
from w left outer join i sampletable(1 out of 2 on id) i1
)
union all
(
select w.id, w.time, w.amount, i2.name, i2.loc, i2.cat
from w left outer join i sampletable(1 out of 2 on id) i2
)
);

以下语句实现了left outer join逻辑：

select t1.id, t1.time, t1.amount,
    coalease(t1.name, t2.name), 
    coalease(t1.loc, t2.loc), 
    coalease(t1.cat, t2.cat) 
from (  
    select w.id, w.time, w.amount, i1.name, i1.loc, i1.cat 
    from w left outer join i sampletable(1 out of 2 on id) i1 
) t1 left outer join i sampletable(2 out of 2 on id) t2;