Hadoop之combiner和partitioner
来源:互联网 发布:根据小说改编的网络剧 编辑:程序博客网 时间:2024/04/30 03:55
1. Combiner
通常,每一个map可能会产生大量的输出,combiner的作用就是在map端对输出先做一次合并,以减少传输到reducer的数据量。
我们以计算特定key对应值的平均值为例,展示一下combiner的用法:
class Mapper
method Map(string t, integer r)
Emit(string t, integer r)
class Combiner
method Combine(string t, integers [r1, r2, . . .])
sum ← 0
cnt ← 0
for all integer r ∈ integers [r1, r2, . . .] do
sum ← sum + r
cnt ← cnt + 1
Emit(string t, pair (sum, cnt)) // Separate sum and count
class Reducer
method Reduce(string t, pairs [(s1, c1), (s2, c2) . . .])
sum ← 0
cnt ← 0
for all pair (s, c) ∈ pairs [(s1, c1), (s2, c2) . . .] do
sum ← sum + s
cnt ← cnt + c
ravg ← sum/cnt
Emit(string t, integer ravg)
乍一看应该没有问题,但是不幸的是,这个combiner是不正确的。因为框架要求,combiner的输入输出类型必须和mapper的输出以及reducer的输入类型一致。而上面的伪代码中,mapper的输出类型为<string, integer>,而combiner的输出类型为<string, pair<integer, integer>>,这样的话,combiner就不能正常工作。
改变的方式非常简单,把mapper的输出包装一下即可:
class Mapper
method Map(string t, integer r)
Emit(string t, pair (r, 1))
class Combiner
method Combine(string t, pairs [(s1, c1), (s2, c2) . . .])
sum ← 0
cnt ← 0
for all pair (s, c) ∈ pairs [(s1, c1), (s2, c2) . . .] do
sum ← sum + s
cnt ← cnt + c
Emit(string t, pair (sum, cnt))
class Reducer
method Reduce(string t, pairs [(s1, c1), (s2, c2) . . .])
sum ← 0
cnt ← 0
for all pair (s, c) ∈ pairs [(s1, c1), (s2, c2) . . .] do
sum ← sum + s
cnt ← cnt + c
ravg ← sum/cnt
Emit(string t, integer ravg)
2. Partitioner
首先需要继承自Partitioner类(在0.19中为Partitioner接口),并重载它的getPartition方法:
- public static class CatPartitioner extends Partitioner<Text, Text> {
- @Override
- public int getPartition(Text key, Text value, int numPartitions) {
- String[] parts = key.toString().split("-");
- if (parts.length == 2) {
- return Math.abs(parts[0].hashCode()) % numPartitions;
- }
- return Math.abs(key.toString().hashCode()) % numPartitions;
- }
- }
然后在job配置中设置Partitioner Class:
- job.setPartitionerClass(CatPartitioner.class);
- Hadoop之combiner和partitioner
- Hadoop之combiner和partitioner
- Hadoop(三)自定义combiner和partitioner
- hadoop--combiner、partitioner学习
- Hadoop里的Partitioner和Combiner两个阶段
- Combiner类和Partitioner类——hadoop
- [Hadoop]MapReduce中的Partitioner与Combiner
- combiner partitioner
- Hadoop 2.2.0词频统计(实现自定义的Partitioner和Combiner)
- Hadoop基于WordCount的Mapper、Reducer、Combiner、Partitioner和自定义多文件输出
- hadoop之shuffle------>soft和combiner
- hadoop之 mapreduce Combiner
- Hadoop组件之Combiner
- hadoop之partitioner编程
- hadoop之Partitioner编程
- Hadoop组件之Partitioner
- Hadoop 之 Combiner 与自定义 Combiner
- combiner/Partitioner/shuffle
- ZOJ2771题解
- dl-provider.com/MediaCrawler 一个坑爹的网站
- PMON中autoload自动加载操作系统代码分析
- shell 中的find -mtime
- Servlet 工作原理解析
- Hadoop之combiner和partitioner
- 重温CSS系列(一)
- sql2008+vs2008安装心得以及详细教程
- 动态调用用dll封装的控件
- C++内存管理
- Linux0.12引导启动程序
- 国嵌Linux视频内核开发
- ASP.NET连接数据库以及调去数据
- listview android:cacheColorHint,listSelector属性作用