mapreduce系列（2）shuffle流程及Combiner

一、shuffle流程原理

二、Combiner的使用

package wc;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Reducer;import java.io.IOException;/** * combiner可以在在maptask在环形缓冲区溢出时和归并时进行相同key-value值得合并（和reduce功能类似）， * 这样可以大大减少map到reduce的数据量。 * Created by tianjun on 2017/3/17. */public class WordcountCombiner extends Reducer<Text,IntWritable,Text,IntWritable>{    @Override    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {        int count = 0 ;        for(IntWritable v: values){            count += v.get();        }        context.write(key,new IntWritable(count));    }}

在driver类中加上

 //设置combiner（由于WordcountCombiner和WordCountReducer实现的功能一模一样，所以可以直接用WordCountReducer替代）        wcjob.setCombinerClass(WordcountCombiner.class);        //wcjob.setCombinerClass(WordCountReducer.class);

本例由于是统计单词的次数，不会影响业务逻辑，所以Combiner可以放心使用。