hadoop 多目录输入,map到reduce如何排序

来源:互联网 发布:知乎 桃花灼灼宜室宜家 编辑:程序博客网 时间:2024/06/15 02:11
使用MultipleInputs.addInputPath 对多个路径输入
现在假设有三个目录,并使用了三个mapper去处理,
经过map处理后,输出的结果会根据key 进行join,
如果使用TextPair,会根据第一个字段jion,第二个字段排序
然后在作为reduce的输入,进行计算



2 0
原创粉丝点击