Hadoop:MapReduce作业配置与提交
来源:互联网 发布:引用json文件 编辑:程序博客网 时间:2024/06/05 17:24
Hadoop高级课程:MapReduce作业配置与提交,在MapReduce中,每个作业由两部分组成:应用程序和作业配置。其中,作业配置内容包括环境配置和用户自定义配置两部分。环境配置由Hadoop自动添加,主要由mapred-default.xml和mapred-site.xml两个文件中的配置选项组合而成;用户自定义配置则由用户自己根据作业特点个性化定制而成,比如用户可设置作业名称,以及Mapper/Reducer、Reduce Task个数等。在新旧两套API中,作业配置接口发生了变化,首先通过一个例子感受一下使用上的不同。
旧API作业配置实例:
- JobConf job = new JobConf(new Configuration(), MyJob.class);
- job.setJobName("myjob");
- job.setMapperClass(MyJob.MyMapper.class);
- job.setReducerClass(MyJob.MyReducer.class);
- JobClient.runJob(job);
新API作业配置实例:
- Configuration conf = new Configuration();
- Job job = new Job(conf, "myjob ");
- job.setJarByClass(MyJob.class);
- job.setMapperClass(MyJob.MyMapper.class);
- job.setReducerClass(MyJob.MyReducer.class);
- System.exit(job.waitForCompletion(true) ? 0 : 1);
从以上两个实例可以看出,新版API用Job类代替了JobConf和JobClient两个类,这样,仅使用一个类的同时可完成作业配置和作业提交相关功能,进一步简化了作业编写方式。我们将在第5章介绍作业提交的相关细节,本小节重点从设计角度分析新旧两套API中作业配置的相关实现细节。来源:CUUG官网
0 0
- Hadoop:MapReduce作业配置与提交
- Hadoop MapReduce作业提交与初始化过程分析
- Hadoop MapReduce之作业提交(客户端)
- Hadoop MapReduce之作业提交(服务端)
- hadoop作业提交和MapReduce基础分析
- (大数据之MapReduce) Hadoop作业提交分析(四)
- Intellij IDEA远程向hadoop集群提交mapreduce作业
- Hadoop-2.7.3源码分析:MapReduce作业提交源码跟踪
- MapReduce 提交作业常见问题
- MapReduce作业提交过程
- MapReduce提交作业常见问题
- MapReduce提交作业常见问题
- MapReduce作业提交流程
- Hadoop作业提交与停止命令
- HADOOP:MapReduce作业运行机制
- MapReduce调度与执行原理之作业提交
- 【MR原理-2】MapReduce作业提交与初始化过程分析
- 精通HADOOP(八) - MAPREDUCE任务的基础知识 - 配置作业
- eclipse c/c++点击运行时提示Program file does not exist
- How many prime numbers
- HDU 1232 畅通工程(并查集)
- 织梦 当前位置修改
- 纯java http协议通讯
- Hadoop:MapReduce作业配置与提交
- 谁都需要成就感一
- 学习Git分布式版本控制系统总结
- OSG设置纹理和渲染属性
- 杭电oj-2020
- 关于在activity检测当前线程是否是UI线程的时机
- VS下开发经验
- Linux声音系统
- 实战:mysql版本升级