mapreduce俩个依赖关系的JOB实现
来源:互联网 发布:张海迪开车 知乎 编辑:程序博客网 时间:2024/06/06 08:24
public static void main(String[] args) throws IOException{
Configuration conf1 = new Configuration();
//第一个job的配置
Job job1 = new Job(conf1);
job1.setJarByClass(LiFangMinHash.class);
job1.setNumReduceTasks(25);
job1.setMapperClass(maphadoop1.class);
job1.setReducerClass(reducehadoop1.class);
job1.setOutputFormatClass(TextOutputFormat.class);
job1.setOutputKeyClass(Text.class);
job1.setOutputValueClass(Text.class);
ControlledJob ctrljob1=new ControlledJob(conf1);
ctrljob1.setJob(job1);
FileInputFormat.addInputPath(job1, new Path(args[0]));
FileOutputFormat.setOutputPath(job1, new Path(args[1]));
Configuration conf2 = new Configuration();
Job job2=new Job(conf2);
job2.setJarByClass(LiFangMinHash.class);
job2.setNumReduceTasks(25);
job2.setMapperClass(maphadoop2.class);
job2.setReducerClass(reducehadoop2.class);
job2.setOutputFormatClass(TextOutputFormat.class);
job2.setOutputKeyClass(Text.class);
job2.setOutputValueClass(Text.class);
ControlledJob ctrljob2=new ControlledJob(conf2);
ctrljob2.setJob(job2);
ctrljob2.addDependingJob(ctrljob1);
FileInputFormat.addInputPath(job2, new Path(args[1]));
FileOutputFormat.setOutputPath(job2,new Path(args[2]));
JobControl jobCtrl=new JobControl("myctrl");
jobCtrl.addJob(ctrljob1);
jobCtrl.addJob(ctrljob2);
jobCtrl.run();
while(true){
if(jobCtrl.allFinished()){//如果作业成功完成,就打印成功作业的信息
System.out.println(jobCtrl.getSuccessfulJobList());
jobCtrl.stop();
break;
}
}
}
}
0 0
- mapreduce俩个依赖关系的JOB实现
- Hadoop 里MapReduce里 实现多个job任务 包含(迭代式、依赖式、链式)
- Hadoop 里MapReduce里 实现多个job任务 包含(迭代式、依赖式、链式)
- Hadoop使用JobControl设置job之间的依赖关系
- 使用JobControl管理mapreduce多job依赖
- 使用JobControl管理mapreduce多job依赖
- MapReduce的job调优
- MapReduce的顺序式依赖关系组合式链式
- 使用MapReduce实现关系代数的代码
- 一些算法的MapReduce实现——MapReduce Job的单元测试实例
- mapReduce job的提交流程
- MapReduce功能实现七---小综合(多个job串行处理计算平均值)
- UML中类的关系:关联关系、聚合关系、依赖关系、泛化关系、实现关系
- WPF 用依赖属性实现一个连锁的依赖关系
- Jenkins不同job之间依赖关系的两种配置方式
- 第一个python实现的mapreduce程序
- Hbase MapReduce的Maven依赖
- hadoop用MultipleInputs/MultiInputFormat实现一个mapreduce job中读取不同格式的文件
- 算法训练 开心的金明 蓝桥杯
- Android系统启动流程(三)解析SyetemServer进程启动过程
- Maven相关的理解
- PS高效处理图片总结
- thinkphp单入口配置
- mapreduce俩个依赖关系的JOB实现
- 怎么判断一个序列是不是堆?
- map.clear list.clear
- 三个老板的工厂(简单工厂,工厂方法,抽象工厂)
- PRML笔记
- method threw error : java.lang.reflect.InvocationTargetException
- day07-复习练习
- 移动端模仿pc的hover技巧
- VR系列——Oculus Publishing文档:五、应用签名