MapReduce优化----Shuffle过程剖析及性能优化
1.Map端 当Map开始产生输出时，它并不是简单的把数据写到磁盘，因为频繁的磁盘操作会导致性能严重下降。它的处理过程更复杂，数据首先是写到内存中的一个缓冲区，并做了一些预排序，以提升效率。 每个Map任务都有一个用来写入输出数据的循环内存缓冲区。这个缓冲区默认大小是100MB，可以通过io.sort.mb属性来设置具体大小。当缓冲区中的数据量达到一个特定阀值(io.sort.mb * io.sort.spill.percent，其中io.sort.spill.percent默认是0.80)时，系统将会启动一个后台线程把缓冲区中的内容spill到磁盘。在spill过程中，Map的输出将会继续写入到缓冲区，但如果缓冲区已满，Map就会被阻塞直到spill完成。spill线程在把缓冲区的数据写到磁盘前，会对它进行一个二次快速排序，首先根据数据所属的partition排序，然后每个partition中再按Key排序。输出包括一个索引文件和数据文件。 如果设定了Combiner，将在排序输出的基础上运行。Combiner就是一个Mini Reducer，它在执行Map任务的节点本身运行，先对M...
