hadoop 排重优化
如果觉得有帮助的话就顶下吧 在统计的时候经常会用到排重，比如想统计每日登陆用户，但是一个用户一次多次登陆情况，或者一个产品被多少个用户下载。。等等情况 截图一是我之前写的代码： 下面是我优化后代码 public static class ReduceTask extends Reducer<Text, Text, Text, IntWritable> { private IntWritable rval = new IntWritable(); private Multiset<Text> multiset=HashMultiset.create(); @Override protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException { multiset.clear(); for (Text item:values){ multiset.add(item); } rval.set(mult...
