hadoop用job文件方式提交任务
来源:互联网 发布:40岁学编程 没公司要 编辑:程序博客网 时间:2024/04/30 01:24
hadoop job命令支持通过xml文件的方式提交任务。
命令:
hadoop job -libjars some.jar -submit testjob.xml
some.jar是实现了Mapper、Reducer等的jar包,testjob.xml是作业配置文件。
jobtemplate.xml是作业配置文件不经常变动的部分,someapp.xml是本作业的配置部分。
someapp.xml内容:
<property><name>mapred.jar</name><value>some.jar</value></property>
<property><name>mapred.job.name</name><value>somejob</value></property>
<property><name>mapred.mapoutput.key.class</name><value>org.apache.hadoop.io.Text</value></property>
<property><name>mapred.mapoutput.value.class</name><value>org.apache.hadoop.io.Text</value></property>
<property><name>mapred.output.key.class</name><value>org.apache.hadoop.io.Text</value></property>
<property><name>mapred.output.value.class</name><value>org.apache.hadoop.io.NullWritable</value></property>
<property><name>mapreduce.map.class</name><value>com.some.SomeMR$MapperImpl</value></property>
<property><name>mapreduce.reduce.class</name><value>com.some.SomeMR$ReducerImpl</value></property>
<property><name>mapred.output.value.groupfn.class</name><value>com.some.base.MRGroup</value></property>
<property><name>mapreduce.partitioner.class</name><value>com.some.base.MRPartion</value></property>
<property><name>mapred.reduce.tasks</name><value>6</value></property>
<property><name>mapred.input.dir</name><value>hdfs:/testinput</value></property>
<property><name>mapred.output.dir</name><value>hdfs:/testoutput</value></property>
jobtemplate.xml内容过多,都是hadoop的通用配置,在hadoop几个配置文件中应该能找得到(可以从提交的任务中提取公共部分)。
jobtemplate.xml+someapp.xml => testjob.xml
- hadoop用job文件方式提交任务
- Hadoop Job的提交
- hadoop job提交总结
- Hadoop中Job提交过程
- hadoop源码之Job提交
- Hadoop任务提交过程
- hadoop任务提交过程
- hadoop提交任务过程
- Hadoop JobTracker提交job源码浅析
- hadoop中job提交的源码分析
- Hadoop MapReduce 深入MapReduce Job 提交
- Hadoop源码分析1: 客户端提交JOB
- Hadoop提交Job Client端源码分析
- Hadoop MapReduce Job 提交的多种方案
- hadoop的job提交的源码分析
- Hadoop关键任务Job资源隔离方案
- Hadoop关键任务Job资源隔离方案
- hadoop运行job任务出现异常
- java调用js
- 弹出文件选择对话框(支持多选)
- uva 755 487--3279(字母与数字处理)
- 闭式冷却塔配件
- mysql 根据中英文首字母检索
- hadoop用job文件方式提交任务
- 技术很大程度上完败清晰的思路
- 推荐TED演讲:20岁光阴不再来(Why 30 is not the new 20)
- 开源 免费 java CMS - FreeCMS1.9 移动APP管理 栏目配置
- C语言课程设计通讯录链表实现
- Installing teamviewer 9 on 64-bit Ubuntu 13.10
- 使用Node.js + MongoDB实现一个简单的日志分析系统
- 2.2.12 Linked List Cycle II
- 1.App Inventor开发环境构建