Hadoop:MapReduce作业配置与提交

来源:互联网 发布:引用json文件 编辑:程序博客网 时间:2024/06/05 17:24

Hadoop高级课程:MapReduce作业配置与提交,在MapReduce中,每个作业由两部分组成:应用程序和作业配置。其中,作业配置内容包括环境配置和用户自定义配置两部分。环境配置由Hadoop自动添加,主要由mapred-default.xml和mapred-site.xml两个文件中的配置选项组合而成;用户自定义配置则由用户自己根据作业特点个性化定制而成,比如用户可设置作业名称,以及Mapper/Reducer、Reduce Task个数等。在新旧两套API中,作业配置接口发生了变化,首先通过一个例子感受一下使用上的不同。

旧API作业配置实例:

  1. JobConf job = new JobConf(new Configuration(), MyJob.class);  
  2. job.setJobName("myjob");  
  3. job.setMapperClass(MyJob.MyMapper.class);  
  4. job.setReducerClass(MyJob.MyReducer.class);  
  5. JobClient.runJob(job); 

新API作业配置实例:

  1. Configuration conf = new Configuration();  
  2. Job job = new Job(conf, "myjob ");  
  3. job.setJarByClass(MyJob.class);  
  4. job.setMapperClass(MyJob.MyMapper.class);  
  5. job.setReducerClass(MyJob.MyReducer.class);  
  6. System.exit(job.waitForCompletion(true) ? 0 : 1); 

从以上两个实例可以看出,新版API用Job类代替了JobConf和JobClient两个类,这样,仅使用一个类的同时可完成作业配置和作业提交相关功能,进一步简化了作业编写方式。我们将在第5章介绍作业提交的相关细节,本小节重点从设计角度分析新旧两套API中作业配置的相关实现细节。来源:CUUG官网

0 0
原创粉丝点击