hadoop 一个Job多个MAP与REDUCE的执行
来源:互联网 发布:mac版qq查看群相册 编辑:程序博客网 时间:2024/03/29 23:03
在hadoop 中一个Job中可以按顺序运行多个mapper对数据进行前期的处理,再进行reduce,经reduce后的结果可经个经多个按顺序执行的mapper进行后期的处理,这样的Job是不会保存中间结果的,并大大减少了I/O操作。
例如:在一个Job中,按顺序执行 MAP1->MAP2->REDUCE->MAP3->MAP4 在这种链式结构中,要将MAP2与REDUCE看成这个MAPREDUCE的核心部分(就像是单个中的MAP与REDUCE),并且partitioning与shuffling在此处才会被应用到。所以MAP1作为前期处理,而MAP3与MAP4作为后期处理。
***************************************************
addMapper中的参数
public static <K1,V1,K2,V2> void
addMapper(JobConf job,
Class<? extends Mapper<K1,V1,K2,V2>> klass,
Class<? extends K1> inputKeyClass,
Class<? extends V1> inputValueClass,
Class<? extends K2> outputKeyClass,
Class<? extends V2> outputValueClass,
boolean byValue,
JobConf mapperConf)
- hadoop 一个Job多个MAP与REDUCE的执行
- hadoop 一个Job多个MAP与REDUCE的执行
- hadoop 一个Job多个MAP与REDUCE的执行
- Hadoop - Map/Reduce 通过理解org.apache.hadoop.mapreduce.Job类来学习hadoop的执行逻辑
- Hadoop Job 中 Map 与 Reduce 数量控制
- Hadoop 执行多个job
- hadoop执行job时,如何解决map /reduce程序执行时卡住现象
- hadoop map与reduce的问题
- hadoop map 与reduce 的流程
- hadoop的map和reduce任务的执行步骤
- 多map/reduce执行
- Hadoop map与reduce数量
- Hadoop - Map/Reduce 中的执行参数汇总
- 远程调用执行Hadoop Map/Reduce
- 远程调用执行Hadoop Map/Reduce
- Hadoop Map/Reduce执行流程详解
- Hadoop :Map/Reduce的理解
- Hadoop Map/Reduce的工作流
- 表达式树
- log4j配置祥解
- 深入C++ Builder之编写自己的元件(2)
- CSS 定位时一定要用的 style clear=both
- 为了安全起见,密码框不能选取,复制,粘贴
- hadoop 一个Job多个MAP与REDUCE的执行
- 《GOF设计模式》—观察者(OBSERVER)—Delphi源码示例:图形用户界面工具箱
- 深入C++ Builder之编写自己的元件(3)
- 简单设置让网页浏览更安全
- 根据日志不同级别,进行配置输出
- oracle blob数据存取(转)
- 《GOF设计模式》—观察者(OBSERVER)—Delphi源码示例:推模型(push model)
- Mysql LOG
- 《GOF设计模式》—观察者(OBSERVER)—Delphi源码示例:拉模型(pull model)