MapReduce编程实例之自定义排序

任务描述:

给出一组数据,自定义排序的样式,第一列降序,相同时第二列升序

example Data:

2013 1
2013 5
2014 5
2014 8
2015 9
2015 4

Code:

package mrTest;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class zidingyiSort {

	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		// TODO Auto-generated method stub

		Job job = new Job();
		job.setJarByClass(zidingyiSort.class);
		// 1
		FileInputFormat.setInputPaths(job, new Path(args[0]));
		// 2
		job.setMapperClass(Map.class);
		job.setMapOutputKeyClass(MyK2.class);
		job.setMapOutputValueClass(LongWritable.class);
		// 3
		// 4
		// 5
		job.setNumReduceTasks(1);
		// 6
		job.setReducerClass(Reduce.class);
		job.setOutputKeyClass(LongWritable.class);
		job.setOutputValueClass(LongWritable.class);
		// 7
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		// 8
		System.exit(job.waitForCompletion(true)? 0 :1 );
	}
public static class Map extends Mapper<Object, Text, MyK2, LongWritable>{
	public void map(Object key, Text value, Context context) throws IOException, InterruptedException{
		String line = value.toString();
		String[] split = line.split("\t");
		MyK2 my = new MyK2(Long.parseLong(split[0]), Long.parseLong(split[1]));
		context.write(my, new LongWritable(1));
	}
} 
public static class Reduce extends Reducer<MyK2, LongWritable, LongWritable, LongWritable>{
	public void reduce(MyK2 key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException{
		context.write(new LongWritable(key.myk2), new LongWritable(key.myv2));
	}
} 

public static class MyK2 implements WritableComparable<MyK2>{

	public long myk2;
	public long myv2;
	
	MyK2(){}
	
	MyK2(long myk2, long myv2){
		this.myk2 = myk2;
		this.myv2 = myv2;
	}
	
	@Override
	public void readFields(DataInput in) throws IOException {
		// TODO Auto-generated method stub
		this.myk2 = in.readLong();
		this.myv2 = in.readLong();
	}

	@Override
	public void write(DataOutput out) throws IOException {
		// TODO Auto-generated method stub
		out.writeLong(myk2);
		out.writeLong(myv2);
	}
	
	@Override
	public int compareTo(MyK2  myk2) {
		// TODO Auto-generated method stub
		//myk2之差>0 返回-1          <0 返回1 代表 myk2列降序
		//myk2之差<0 返回-1           >0 返回1 代表 myk2列升序
		long temp = this.myk2 - myk2.myk2;
		if(temp>0)
			return -1;
		else if(temp<0)
			return 1;
		//控制myv2升序
		return (int)(this.myv2 - myk2.myv2);
	}
}
}
效果展示:

2015 4
2015 9
2014 5
2014 8
2013 1
2013 5

优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/413139

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
优质分享Android(本站安卓app)

优质分享Android(本站安卓app)

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario,低调大师唯一一个Java游戏作品

Mario,低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Java Development Kit(Java开发工具)

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。