通过Partition把map的结果输出到到n个不同的reduce
来源:互联网 发布:新浪 算法工程师 编辑:程序博客网 时间:2024/05/22 11:59
默认的Partition无法满足我们的需求,因此需要自定义partition过程。
根据map输出的不同key值,通过partition把map输出的数据输出到numReduceTasks个不同的reduce上去。
public static class Selector extends Partitioner<Text, Text>{@Overridepublic int getPartition(Text key, Text value, int numReduceTasks) {return Integer.parseInt(key.toString()) % numReduceTasks;}}
设置job的partition:
job.setPartitionerClass(Selector.class);
- 通过Partition把map的结果输出到到n个不同的reduce
- 把程序的输出结果输出到log文件
- 生成k个不同的随机数,从m到n,并输出最大值的程序代码
- C#查询数据库把结果输出到XML的例子
- 杂七杂八:把printf的结果输出到文件中
- Mapreduce不设置reduce,只执行map的输出结果
- Mapreduce不设置reduce,只执行map的输出结果
- SAS结果输出到EXCEL的多个sheet
- Action输出不同视图的方法(根据结果跳转到不同页面)
- mysql如何把在屏幕上输出的结果输出到一个文件上?
- mysql如何把在屏幕上输出的结果输出到一个文件上?
- python logging模块如何把不同内容定向到不同的输出
- 通过不同的按纽把表单提交到不同页面
- 直接把结果输出到打印机
- 直接把结果输出到打印机
- 直接把结果输出到打印机
- 直接把结果输出到打印机
- 把sql查询结果输出到文件
- RTMP协议分析
- freemarker模板加载
- [feature phone系列]GSM网络框架浏览
- 信号(Signal)与槽(Slot)-Qt中的典型机制
- Cannot drop database "databasename" because it is currently in use.
- 通过Partition把map的结果输出到到n个不同的reduce
- UIImage应用与内存管理
- 《运算符的重载1》
- 内存检测
- 解决warning: no newline at end of file
- Handler 机制浅析及Message的异步加载
- 关于Unable to find a 'userdata.img' file for ABI armeabi to copy into the AVD folder的错误
- android单元测试
- 去锁修改屏幕休眠(andorid4.0)