Hadoop2.6.1中的Reducer实现

来源:互联网 发布:萃妮缇 知乎 编辑:程序博客网 时间:2024/06/05 01:51

    正在考虑怎么方便上传图片

    1.Partitioner其是一个抽象类,只有一个抽象方法。其作用是对Reducer产生的中间结果进行分片,以方便将同一分组的数据交给同一个Reducer处理


    2.类的继承结构

     


    3.子类介绍一、BinaryPartitioner

    1. 可以像Python一样,使用左索引和右索引进行遍历


    1. 实现的函数


    1. 分别时设置偏移量
    2. 设置左偏移量
    3. 设置右偏移量
    4. 设置配置文件
    5. 获取配置文件
    6. 获取Partition的个数
    7. getPartition的函数实现,其也结识了Offset的设置和使用,其中的HashBytes函数为二进制计算hash


    4.子类介绍二、

    1. 该类的主要功能是根据确定的key去划分keys
    2. 类实现的函数如下


    1.  

    0 0
    原创粉丝点击