MapRedece中的分区Partitioner
来源:互联网 发布:淘宝助理编辑宝贝 权重 编辑:程序博客网 时间:2024/05/18 20:10
MapRedece中的分区Partitioner
分析
MapReduce中会将map输出的k-v对,按照相同的key进行分组,然后分发给不同的reduceTask中。
默认的分发规则为:根据key的hashcode%reducetask数来分发
所以如果要按照特定的需求进行分组,则需要改写数据分发组件Partitioner。
实现
- 自定义数据分发类CustomPartitioner 继承抽象类Partitioner
- 重写getPartition方法
getPartition方法说明
public int getPartition(Text key, LongWritable value, int numPartitions)
- key : map阶段输出的key值
- value : map阶段输出的value值
- numPartitions : 设置的reduce数量(获取的是job.setNumReduceTasks(int num)设置的num)
- 返回值是根据自定义规则得出的分区位置
案例
需求
根据归属地输出流量统计数据结果到不同文件,以便于在查询统计结果时可以定位到省级范围进行流量统计。
实现
/*** 自定义分发规则类CustomPartitioner* @author:yanzhelee*/public class CustomPartitioner extends Partitioner<Text,LongWritable>{ //用于将手机号的前三个数字和分区块进行对应 static HashMap<String, Integer> provinceMap = new HashMap<String, Integer>(); //设置默认的初始值 static { //key为手机号的前三位数字,value为用于表示地区的分区号 provinceMap.put("135", 0); provinceMap.put("136", 1); provinceMap.put("137", 2); provinceMap.put("138", 3); provinceMap.put("139", 4); } @Override public int getPartition(Text key, LongWritable value, int numPartitions) { Integer code = provinceMap.get(key.toString().substring(0, 3)); //如果不存在,则分区号为5 return code == null ? 5 : code; }}
阅读全文
1 0
- MapRedece中的分区Partitioner
- hadoop中的Partitioner分区
- hadoop中的Partitioner分区
- hadoop中的Partitioner分区
- Mapreduce中的分区Partitioner
- Mapreduce中的分区Partitioner
- MapReduce中的分区方法Partitioner
- MapReduce中的分区方法Partitioner
- MapReduce中的分区方法Partitioner
- MapReduce中的分区方法Partitioner
- 【MapReduce】MapReduce中的分区方法Partitioner
- hadoop Partitioner 分区
- Partitioner分区过程分析
- Hadoop自定义分区Partitioner
- Spark自定义分区(Partitioner)
- Spark自定义分区(Partitioner)
- Spark自定义分区(Partitioner)
- Partitioner分区过程分析
- UILabel 字体加粗
- DFX 安全测试-- 告诉你什么是XSS、sql注入?
- maven工程如何引用css和js文件
- 《悟透javascript》摘抄 1.0
- 关于神经网络风格化算法的实验
- MapRedece中的分区Partitioner
- partial
- JS数组操作
- Java、Javascript、Javaweb三者的区别
- ABAP ALV检查单元格更新数据
- Checksum算法
- Sciter中的动态元素事件处理
- ubunt重装后复制之前home的文件到新的home目录出现不属于当前用户的问题
- 欢迎使用CSDN-markdown编辑器