Hadoop之自定义Partitioner函数

在我的《Hadoop之wordcount源码分析和MapReduce流程分析》一文中，详细说明了MapReduce中的数据流向。

wordcount的例子中，只有一个Reduce Task。Hadoop的默认配置是只有1个Reduce Task来处理Map的输出的，但很多时候，我们需要多个Reduce Task，可以这样显式定义Reduce Task的个数：

job.setNumReduceTasks(2);

这样的话Hadoop就会利用2个Reduce来处理这个作业。

因为我们设置了2个Reduce，所以Map的输出文件将被划分到2个partition中。哪个key到哪个Reducer的分配过程，是由Partitioner规定的。它只有一个方法：

getPartition(Text key, Text value, int numPartitions);

输入是Map的结果对<key, value>和Reducer的数目，输出则是分配的Reducer（整数编号）。就是指定Mappr输出的键值对到哪一个Reducer上去。系统缺省的Partitioner是HashPartitioner，它以key的Hash值对Reducer的数目取模，得到对应的Reducer。这样保证如果有相同的key值，肯定被分配到同一个reducre上。如果有N个reducer，编号就为0,1,2,3……(N-1)。

自定义的Partition函数：

public static class MyPartitioner extends Partitioner<IntWritable,IntWritable>{    @Override    public int getPartition(TypeOfKey key,TypeOfValue value,int numOfReducer)    {    }}

然后在main函数里设置Partitioner类：

job.setPartitionerClass(MyPartitioner.class);

参考文献

Hadoop之wordcount源码分析和MapReduce流程分析

Hadoop中Partition解析

Hadoop 2.2.0词频统计（实现自定义的Partitioner和Combiner）