mapreduce二次排序案例
来源:互联网 发布:mac os x 10.10 iso 编辑:程序博客网 时间:2024/06/05 21:54
二次排序的步骤
1 自定义key。
mr中的分区和分组都和key相关,所有的key是需要被比较和排序的,需要二次排序时,先根据key中的第一个属性进行比较排序,第一个属性相同时,在第一个属性相同的情况下,再进行下一个的比较和排序;(程序员必知的8大排序:http://blog.csdn.net/qq_39532946/article/details/76228075)
所有自定义的key应该实现接口WritableComparable,因为是可序列的并且可比较的。并重载方法
2自定义分区类(继承Partitionner).
2.1 自定义分区函数类继承Partitioner。(第一次比较)。
public static class FirstPartitioner extends Partitioner<IntPair,IntWritable>
在job中设置使用setPartitionerClasss
2.2 key比较函数类需要继承WritableComparator(第二次比较)。
publicclass PairWritable implements WritableComparable<PairWritable>{
private String name;//要比较的第一个字段,姓名
private float money; //要比较的第二个字段,消费金额
// shuffle过程中的排序就是根据此处的比较规则
public int compareTo(PairWritable o){
//先比较二者的name
int comp =this.name.compareTo(o.name);
if(0!= comp){
return comp;
}
//在第一个字段name一样的情况下比较money,基本数据类型是没有compareTo,需要装箱成包装类
//return(Float.valueOf(this.money)).compareTo(Float.valueOf(o.money));
return Float.valueOf(o.money).compareTo(Float.valueOf(this.money));
}
}
public static class KeyComparator extends WritableComparator
必须有一个构造函数,并且重载 public int compare(WritableComparable w1, WritableComparable w2)
另一种方法是 实现接口RawComparator。
在job中设置使用setSortComparatorClass。
3自定义分组函数类,需要继承WritableComparator。
public static class GroupingComparator extends WritableComparator
必须有一个构造函数,并且重载 public int compare(WritableComparable w1, WritableComparable w2)
分组函数类另一种方法是实现接口RawComparator。
在job中设置使用setGroupingComparatorClass。
另外注意的是,如果reduce的输入与输出不是同一种类型,则不要定义Combiner也使用reduce,因为Combiner的输出是reduce的输入。除非重新定义一个Combiner。
- mapreduce二次排序案例
- Hadoop MapReduce 深入理解!二次排序案例!
- mapreduce二次排序
- MapReduce中二次排序
- MapReduce中的二次排序
- MapReduce之二次排序
- mapreduce二次排序
- MapReduce中的二次排序
- MapReduce二次排序。
- MapReduce中的二次排序
- MapReduce二次排序
- MapReduce 二次排序详解
- mapreduce的二次排序
- MapReduce二次排序
- MapReduce中的二次排序
- mapreduce 二次排序
- Hadoop MapReduce 二次排序
- mapreduce二次排序
- 指针与数组
- Java通过cal.get(Calendar.MONTH)比真实月份少了一个月
- 再谈HTTP通信
- Window下XGBoost安装
- python scrapy-redis
- mapreduce二次排序案例
- 集训被虐第一天7.31
- 列出1~1000内的所有素数(Python)
- IP地址划分、组播地址、公有IP、私有IP
- JAVA入门知识---小结
- ElasticSearch的head插件中如何使用cat接口
- Android编译错误error: ext4_allocate_best_fit_partial: failed to allocate 74 blocks, out of space?
- 补充
- Android源码(8) --- Binder(2) 序列化