一、迭代式mapreduce(顺序链接)
来源:互联网 发布:php时间函数date() 编辑:程序博客网 时间:2024/06/09 04:59
场景:一些复杂的任务难以用一次mapreduce处理完成,需要多次mapreduce才能完成任务。如在日志解析系统中,会分为拆分、session_id,、上下文三个job。
在map/reduce迭代过程中,思想还是比较简单,就像类似for循环一样,前一个mapreduce的输出结果,作为下一个mapreduce的输入,任务完成后中间结果都可以删除。
如代码:
Configuration conf = new Configuration();
Job job1 = new Job(conf1,"job1");
.....
FileInputFormat.addInputPath(job1,InputPaht1);
FileOutputFromat.setOoutputPath(job1,Outpath1);
job1.waitForCompletion(true);
//sub Mapreduce
//Configuration conf = new Configuration();
Job job2 = new Job(conf,"job2");
.....
FileInputFormat.addInputPath(job2,Outpath1);
FileOutputFromat.setOoutputPath(job2,Outpath2);
job2.waitForCompletion(true);
//sub Mapreduce
//Configuration conf = new Configuration();
Job job3 = new Job(conf,"job3");
.....
FileInputFormat.addInputPath(job3,Outpath2);
FileOutputFromat.setOoutputPath(job3,Outpath3);
job3.waitForCompletion(true);
.....
- 一、迭代式mapreduce(顺序链接)
- MapReduce练习一:多MapReduce链接
- Chapter05 高阶MapReduce(一) 链接MapReduce作业
- MapReduce数据流(一)
- MapReduce数据流(一)
- MapReduce练习(一)
- MapReduce学习(一)
- MapReduce实例(一)
- MapReduce 顺序组合, 迭代式,组合式,链式
- MapReduce 顺序组合, 迭代式,组合式,链式
- MapReduce编程练习(一)
- MapReduce编程实例(一)
- MongoDB MapReduce 使用(一)
- MapReduce(一)
- mapreduce链接job流
- 链接方式(一)
- 静态链接(一)
- [CSAPP] 链接(一)
- java常见的一些定义
- 黑马程序员java学习笔记,反射及动态代理
- function函数的length属性
- uva 1398 - Meteor
- C++头文件定义格式_避免重包含
- 一、迭代式mapreduce(顺序链接)
- emacs感悟
- SetLocalIP
- C语言结构体的字节对齐原则
- 应该知道的Linux技巧
- Visual SVN服务器无法启动
- doGet方法中出现的中文乱码问题解决
- 【人在运维囧途_01】20个Linux系统内置监视工具:top
- win 7 瘦身