MapReduce--Combiner
来源:互联网 发布:域名有哪些 编辑:程序博客网 时间:2024/06/06 06:40
MapReduce框架是使用Mapper将数据处理成一个<key,value>键值对,网络节点间进行整理(shuffle),然后使用Reducer处理数据并进行最终输出。
1.性能瓶颈:
(1)Map与Reduce之间的网络带宽
(2)reduce上的负载均衡
2.目标:
combiner是为了避免map任务和reduce任务之间的数据传输而设置的,hadoop允许用户对map task的输出制定一个合并函数。即为了减少传输到reduce上的数据量。主要为了削减Mapper的输出从而减少网络带宽和reduce负载。
3.数据格式转换:
map: (K1, V1) → list(K2,V2) combine: (K2, list(V2)) → list(K3, V3) reduce: (K3, list(V3)) → list(K4, V4)
4)
combine的输入和reduce的完全一致,输出和map的完全一致。
4.注意说明
1)combiner和map的输出数据合并不是相同一个过程,map输出的数据合并是发生在spill之后,merger操作。
2)combiner是默认实现的,也需要在Configuration中显示设置才有作用。
3)combiner不一定使用所有mapreduce的job,必须满足结合律。
0 0
- MapReduce: combiner
- MapReduce--Combiner
- MapReduce之Combiner组件
- mapreduce之combiner
- hadoop之 mapreduce Combiner
- MapReduce中的Combiner类
- MAPREDUCE中的Combiner
- MapReduce编程之Combiner
- MapReduce(partation,sort,combiner)
- mapreduce的规约(Combiner)
- MapReduce程序开发中的Combiner
- mapreduce过程---combiner原理入门
- MapReduce中Combiner方法使用
- mapreduce中的partitioner,combiner,shuffle
- MapReduce之combiner的理解
- Mapreduce中Combiner的使用及误区
- Mapreduce中Combiner的使用及误区
- 关于mapreduce 的 shuffle ,partition,combiner
- Android listview addHeaderView 和 addFooterView 理解
- 汉字转拼音
- 正确的电源纹波测试方法
- 在团队开发中git的使用
- Java(接口定义,接口实现)
- MapReduce--Combiner
- TextView显示人民币符号¥
- 敬畏传奇——直面第一台可编程电子计算机:Colossus
- 使用 GDB 和 KVM 调试 Linux 内核与模块
- 配置mybatis Catalog xml
- Debug和Release区别
- Panorama Stitching
- airplay按钮
- 批济南某创华宇培训学校