Partitioner, SortComparator and GroupingComparator in Hadoop

来源:互联网 发布:淘宝刷手论坛 编辑:程序博客网 时间:2024/05/29 11:44

来源:http://roserouge.iteye.com/blog/746391

hadoop 0.20.2 api里面,作业被重新定义到了类 org.apache.hadoop.mapreduce.Job。

它有3个特别的方法:

job.setPartitionerClass(Partitioner p);

job.setSortComparatorClass(RawComparator c);
job.setGroupingComparatorClass(RawComparator c);

 

数据在被map处理过之后,会根据 Partitioner 定义的规则,把中间结果分发到特定的reduce。

Partitioner<Key, Value> 包含一个方法:public int getPartition(Key k, Value v, int parts)

Java代码  收藏代码
  1. public static class P extends Partitioner<IdWithTimestamp, Value> {  
  2.   
  3.     @Override  
  4.     public int getPartition(IdWithTimestamp  k, Value v, int parts) {  
  5.         int hash = k.getId().hashCode();  
  6.         return (hash & Integer.MAX_VALUE) % parts;  
  7.     }  
  8.   
  9. }  

 

接下来,可以做一些控制,使得不同 Key的中间数据,能够被分发到同一个reduce 处理,setGroupingComparatorClass提供分组规则。

例如,key可能是[id, timestamp],这样可以使相同的id(String)能按时间戳(long)排序,现在拆出包含在key里的相同id,分到相同的组。

Java代码  收藏代码
  1. public class IdComparator extends TextComparator {  
  2.   
  3.     @Override  
  4.     public int compare(IdWithTimestamp o1, IdWithTimestamp o2) {  
  5.         return o1.getId().compareTo(o2.getId());  
  6.     }  
  7.   
  8. }  

 

然后,中间数据在被reduce处理之前,会先被集中排序,setSortComparatorClass提供排序规则。

Java代码  收藏代码
  1. public class TimestampComparator extends TextComparator {  
  2.   
  3.     @Override  
  4.     public int compare(IdWithTimestamp o1, IdWithTimestamp o2) {  
  5.         return o1.getTimestamp() - o2.getTimestamp();  
  6.     }  
  7.   
  8. }   

 

如果不提供这些东西,默认使用的是 Key类型的 compareTo方法,而不是 hashCode和 equals。

可以自定义 WritableComparable类型,提供优化比较方法,以提高执行效率。。。字节比较,那是个挺麻烦的事情,我都是很偷懒地一直用Text,拼接、拆分字符串做比较。

 

Partitioner,SortComparator 和 GroupingComparator 配合即可实现某些对顺序有要求的计算。如果数据集很大的话,可能还需要控制map对输入的分割

Java代码  收藏代码
  1. public class NoSplitInputFormat extends TextInputFormat {  
  2.   
  3.     @Override  
  4.     protected boolean isSplitable(JobContext context, Path file) {  
  5.         return false;  
  6.     }  
  7.   
  8. }  

 

排序 + 计算 两个任务,不等于一个完整任务里的 按顺序计算。

 

实践证明,使用外部的RawComparator 更具灵活性,可以提供不同的排序和分组策略。

 

 

附例子程序,测试数据,测试结果

 

Join的时候也用得着它们

 

enjoy it!


原创粉丝点击