MapReduce实现倒排索引（类似协同过滤）
一、问题背景
倒排索引其实就是出现次数越多，那么权重越大，不过我国有凤巢....zf为啥不管，总局回应推广是不是广告有争议...
eclipse里ctrl+t找接口或者抽象类的实现类，看看都有啥方法，有时候hadoop的抽象类返回的接口没有需要的方法，那么我们返回他的实现类。
吧需要的文件放入hdfs下的目录下，只要不是以下划线开头的均算。
二、理论准备
搜索引擎查询的时候就是查询这个单词文档矩阵，旺旺采用倒排索引存储，后缀树也可以。
不管理论直接看例子，这是原始的文档
下面是简单的索引，只是表征是否在文档中出现过。
下面就是文档及出现次数。
擦，咋有点想协同过滤。
三、思路分析
其实是一个全文检索的数据结构。理论上关键字出现次数越多，那么文章就越靠前。
就是wc的加强版本。wc是统计单词在文章里出现的次数，倒排是统计关键字在各个文章出现的次数。
有时候不能一下子写出来，可能需要多次mr，那么我们首先确定最终的结果形式，然后向上反推。
如果多个mr，考虑使用combiner，不过要考虑combiner是不是可插拔的，也就是combiner和业务逻辑是否和reducer一样。
怎么知道单词出现在那个文章里？从context对象里获取。既然能忘context写东西，那么也能从其中获取信息。
最终结果是
hello "a.txt->5 b.txt->3" tom "a.txt->2 b.txt->1" kitty "a.txt->1"
那么reduce的输出
context.write("hello","a.txt->5 b.txt->3");
那么combiner阶段是
<"hello",{"a.txt->5","b.txt->3"}>
那么map的输出
context.write("hello","a.txt->5");
context.write("hello","b.txt->3");
不过考虑到wc，map的输出应该是，路径放在value不好处理，还要廉价呢。
context.write("hello->a.txt",1);
context.write("hello->a.txt",1);
context.write("hello->a.txt",1);
context.write("hello->a.txt",1);
context.write("hello->a.txt",1);
context.write("hello->b.txt",1);
context.write("hello->b.txt",1);
context.write("hello->b.txt",1);
那么combiner阶段根据就输出
<"hello->a.txt",1>
<"hello->a.txt",1>
<"hello->a.txt",1>
<"hello->a.txt",1>
<"hello->a.txt",1>
<"hello->b.txt",1>
<"hello->b.txt",1>
<"hello->b.txt",1>
context.write("hello","a.txt->5");
context.write("hello","b.txt->3");
次是不同文件的相同key并没有合并，reducer合并输出皆可。
四、代码实现
4.1 Mapper
public class IIMapper1 extends Mapper<LongWritable, Text, Text, Text> {
private Text k = new Text();
//下面其实是int，不过也可以在接收端Integer.parseInt转了就好
private Text v = new Text();
public void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
String line = value.toString();
String[] words = line.split(" ");
//从context对象里找到单词属于那个文章
//context.getInputSplit();找到切片 按ctrl找 发现返回时InputSplit
//不过是个抽象类 ctrl + t找他的实现类
//能把数据写入context，繁殖也能从context拿到很多信息
//从下面inputSplit调用get的时候发现没有合适的方法，那么我们找他的实现类，调用实现类的方法
//InputSplit inputSplit = context.getInputSplit();
//inputSplit.get
//他的子类很多 我们处理文件就用File开头的 然后有个getPath
FileSplit inputSplit = (FileSplit)context.getInputSplit();
//文件名是hdfs://hostname：port/a/1.txt
//我们戒掉hdfs://hostname：port 不能戒掉a 应为这是文件夹否则不知道1.txt来自哪 其他文件家下可能也有同名文件
//也可以不接去
String path = inputSplit.getPath().toString();
for(String w:words) {
k.set(w+"->"+path);
v.set("1");
context.write(k, v);
}
}
}
4.2 Combiner
String[] wordAndPath = key.toString().split("->");
String word = wordAndPath[0];
String path = wordAndPath[1];
// process values
int sum = 0;
for (Text val : value) {
sum += Integer.parseInt(val.toString());
}
k.set(word);
v.set(path+"->"+sum);
context.write(k, v);
4.3 Reducer
//不涉及多线程 用StringBuilde即可
StringBuilder sb = new StringBuilder();
// process values
for (Text val : value) {
sb.append(val.toString()).append("\t");
}
context.write(key, new Text(sb.toString()));
四、实验分析
![[jjzhu学hadoop]之hadoop2.7.3源码编译eclipse项目](http://i.imgur.com/xVZtf9f.png)
