关于ChainMapper的测试

来源:互联网 发布:easyui js隐藏a标签 编辑:程序博客网 时间:2024/06/06 00:13

hadoop api提供有ChainMapper和ChainReducer链式处理数据的接口,ChainMapper在一个map节点可以执行多个mapper逻辑,他们像unix管道一样,前一个map的输出作为后一个map的输入,直到最后一个map输出作为partition的输入,然后到reduce节点。而ChainReducer则不能从字面意义上理解为多个reduce连接起来处理数据,ChainReducer是在reducer处理完成后添加map逻辑,实现reduce函数处理完成后的其它数据处理逻辑。

ChainReducer的优点:更好利用reduce节点,方便实现reduce输出后的其它数据处理逻辑。

ChainMapper的优点:api上描述为更好利用io,不过多个map连接起来的逻辑不能在同一个map节点里面实现吗?不很确定。

http://blog.csdn.net/lmc_wy/article/details/8013528


http://www.oratea.net/?p=371

原创粉丝点击