关于ChainMapper的测试
来源:互联网 发布:easyui js隐藏a标签 编辑:程序博客网 时间:2024/06/06 00:13
hadoop api提供有ChainMapper和ChainReducer链式处理数据的接口,ChainMapper在一个map节点可以执行多个mapper逻辑,他们像unix管道一样,前一个map的输出作为后一个map的输入,直到最后一个map输出作为partition的输入,然后到reduce节点。而ChainReducer则不能从字面意义上理解为多个reduce连接起来处理数据,ChainReducer是在reducer处理完成后添加map逻辑,实现reduce函数处理完成后的其它数据处理逻辑。
ChainReducer的优点:更好利用reduce节点,方便实现reduce输出后的其它数据处理逻辑。
ChainMapper的优点:api上描述为更好利用io,不过多个map连接起来的逻辑不能在同一个map节点里面实现吗?不很确定。
http://blog.csdn.net/lmc_wy/article/details/8013528
http://www.oratea.net/?p=371
- 关于ChainMapper的测试
- Hadoop的ChainMapper/ChainReducer
- ChainMapper/ChainReducer 的实现原理
- ChainMapper/ChainReducer的实现原理
- MapReduce实例——ChainMapper的使用
- 如何使用Hadoop的ChainMapper和ChainReducer
- 如何使用Hadoop的ChainMapper和ChainReducer
- 如何使用Hadoop的ChainMapper和ChainReducer
- Hadoop2.X的ChainMapper和ChainReducer
- hadoop 2.0中ChainMapper与ChainReducer的使用
- [Hadoop] Hadoop 链式任务 : ChainMapper and ChainReducer的使用
- MapReduce练习二:ChainMapper和ChainReducer的使用
- 关于executeBatch()的测试
- 关于几率的测试
- 关于sga_max_size的测试
- 关于trackback的测试
- 关于测试的绩效考核
- 关于乱码的测试
- @autoreleasepool in Loop 和 Loop in @autoreleasepool
- char,wchar_t,TCHAR 3者的区别与联系
- 考大家一道简单的题
- 求子数组的最大和问题
- MyEclipse Trial Expired 问题及解决方案
- 关于ChainMapper的测试
- GlobalAlloc,GlobalLock,GlobalUnLock函数
- android特色笔记本编写步骤 三
- UISearchBar和UISearchDisplayController
- Android系统手机端抓包方法
- 链表的创建、查询、插入、删除
- Java程序设计(十三)----模拟一个信号灯
- springMVC自定义属性编辑器
- Android应用开发揭秘的第11个程序5_6_DrawText修改版和高仿版的源码注释