hadoop之shuffle------>soft和combiner
来源:互联网 发布:周杰伦英雄 知乎 编辑:程序博客网 时间:2024/05/17 02:53
一 、shuflle之soft
此处用一个具体的实例来说明soft机制
实例:
1. 需求
账号 收入 支出 日期
zhangsan@163.com6000 0 2014-02-20
lisi@163.com 2000 0 2014-02-20
lisi@163.com 0 100 2014-02-20
zhangsan@163.com3000 0 2014-02-20
wangwu@126.com9000 0 2014-02-20
wangwu@126.com0 200 2014-02-20
将上述数据,按照收入由高到低排序,收入相同的按支出从低到高排序
结果实现
2.代码实现
要想获得完成的排序结果,需要分两步来写,第一步是正常的Mapper,Reducer,获得结果如下
第二步:
在map和reduce阶段进行排序时,比较的是k2。v2是不参与排序比较的。如果要想让v2也进行排序,需要把k2和v2组装成新的类,作为k2,才能参与比较。所以,如果想对上述结果进行排序,就要将Bean作为K2传入
注意:Bean实现WritableComparable接口
例如:
public class InfoBean implements WritableComparable<InfoBean>
在这个类中需要重写compareTo方法
二、shuflle之combiner
1. 作用:每一个map可能会产生大量的输出,combiner的作用就是在map端对输出先做一次合并,以减少传输到reducer的数据量。
2. 影响:如果不用combiner,那么,所有的结果都是reduce完成,效率会相对低下。使用combiner,先完成的map会在本地聚合,提升速度。
3.实质:Combiner是一个特殊的Reducer,继承Reducer类
4.使用:在main函数中设置combiner类即可
例如:wordcount类中
job.setCombinerClass(WCReducer.class);
5.对比:(1)无combiner
(2)有combiner
可以发现,在Mapper端会先进行一个计算,然后再Reducer端再进行一次计算
- hadoop之shuffle------>soft和combiner
- hadoop细节——shuffle和combiner
- Hadoop中的shuffle、partition和combiner
- Hadoop中的shuffle、partition和combiner
- Hadoop之combiner和partitioner
- Hadoop之combiner和partitioner
- hadoop之 mapreduce Combiner
- Hadoop组件之Combiner
- Hadoop 之 Combiner 与自定义 Combiner
- Hadoop 之 Shuffle 和排序---再理解
- Hadoop之Combiner与自定义Combiner(笔记8)
- combiner/Partitioner/shuffle
- MapReduce中的combiner、partition和shuffle各自的作用是什么?
- hadoop之shuffle
- Hadoop 之 Shuffle
- hadoop之shuffle
- hadoop--之shuffle
- Hadoop 之shuffle
- sublime text 插件安装
- Leetcode 438. Find All Anagrams in a String (Easy) (cpp)
- hashCode
- Azure问题与解答
- C++从配置文件读取路径,然后在程序中使用的方法
- hadoop之shuffle------>soft和combiner
- 记单词008
- Python科学计算二
- poj 3368 Frequent values--RMQ
- vim设置编码为urf-8
- eclipse中java工程打包war文件
- 【Android小品】OpenCV配置 之一 CMake详解(基于最新平台AS 2.2)
- HTTP 请求头中的 X-Forwarded-For
- 【67.24%】【codeforces 745A】Hongcow Learns the Cyclic Shift