Hadoop 依赖关系作业 MapReduce JobControl 错误纠正
来源:互联网 发布:香港公开大学 知乎 编辑:程序博客网 时间:2024/05/30 23:46
最近要写MapReduce工作流,查了下书籍和资料,使用了JobControl,但是出现了明显的语法问题。
先贴一段广泛流传的code:
看上去很正常很美好,但是你把它放到IDE中就会发现
JC.addJob(Job ajob);
方法报错,参数Job不能转换成ControlledJob。
看上去很正常,其实是错误的。去查下Hadoop的API:
http://hadoop.apache.org/docs/r2.3.0/api/index.html
JobControl类添加作业有两个单参数方法:
addJob(ControlledJob aJob)
addJob(Job aJob)
咋一看没有问题啊,的确是Job类。
但是MapReduce中的Job类有好几个,我们看看这里的Job类是什么:
org.apache.hadoop.mapred.jobcontrol.Job
看到了,原来这里的Job是旧版api中的Job,不是新版api中的基础作业Job。So,
旧版api中基础作业使用jobConf,受控作业使用Job;
新版api中基础作业使用Job,受控作业使用ContorlledJob。
所以既然我们使用新版api来编写依赖关系作业流,代码要这么写:
这样就不会报错了,但是还是有待运行测试,未完待续。
PS:写技术文章必须要严谨,code起码要编译通过,想当然害死人啊!
0 0
- Hadoop 依赖关系作业 MapReduce JobControl 错误纠正
- Hadoop使用JobControl设置job之间的依赖关系
- 使用JobControl管理mapreduce多job依赖
- 使用JobControl管理mapreduce多job依赖
- Hadoop运行包含第三方依赖库的MapReduce作业
- HADOOP:MapReduce作业运行机制
- Hadoop与Mapreduce关系
- Hadoop MapReduce之作业初始化
- Hadoop MapReduce作业的生命周期
- Hadoop:MapReduce作业的生命周期
- Hadoop JobControl Job迭代
- Hadoop工作流引擎之JobControl
- 如何使用Hadoop的JobControl
- jobcontrol
- 解决hadoop mapreduce 包依赖问题
- Hadoop回顾--MapReduce错误处理
- 错误纠正
- hadoop之MapReduce作业的生命周期
- JAVA NULL不能用于==里面
- live555源码分析----SETUP命令处理流程
- Navicat Premium链接Oracle
- 一步一步写算法(之爬楼梯)
- 我来了。。。。
- Hadoop 依赖关系作业 MapReduce JobControl 错误纠正
- 一步一步写算法(之单词统计)
- Android几种高度获取
- ListView中几个需要注意的属性
- c++中的操作符重载
- 迭代器遍历:ConcurrentModificationException异常
- Google Maps Android API V2使用及问题解决
- VS2010出现error LNK1123
- 拿出自己的实力