MultipleInputs/MultipleOutpus

来源:互联网 发布:小米3d电视的数据 编辑:程序博客网 时间:2024/06/03 20:50

仔细看了一下 Hadoop.MapReduce 的代码,发现了两个新类:MultipleInputs/MultipleOutpus,再仔细看它们的详细文档,的确实现了我想要的功能:

不同的InputPath,可是使用不同的InputFormat 和 Mapper

可以将不同类型(可能是多种计算)的结果写入不同的Reduce Output。

 

再看一下它们的实现代码,让我大失所望,MultipleInput 还行,没有白白折损效率的地方,MultipleOutput就太让我大跌眼镜了!简单的写一条记录出去,白白做的额外工作的耗时,可以写30条记录了。

 

多了解MapReduce的整体实现,可以考虑自己做一个更高效的MultiOutput。

 

原创粉丝点击