Hadoop下进行反向索引(Inverted Index)操作
0.参考资料: 代码参考1:http://www.pudn.com/downloads212/sourcecode/unix_linux/detail999273.html 理论参考2:http://zhangyu8374.javaeye.com/blog/86307,http://nything.javaeye.com/blog/411787 1.分析 假如有file0,file1,file2三个文件,这些文件中都保存了一些文本内容,比如在file0中只有一个句子,内容为"we are happy"。一般的索引都是记录在这个文件中没有一个单词的索引号。比如file0的索引可以是(we,0),(are,1),(happy,2)。这样的键值对中key是单词,value是这个单词在这个文件中的位置。但是,反向索引刚好相反,对应于多个文件,我们要求出某一个单词在所有这些文件中出现的位置。我们可以按如下操作进行实验: 在本地创建文件夹IndexTest并在里面创建3个文件,每个文件中的内容如下。 * T0 = "it is what it is" * T1 = "what is it" ...