OOZIE mapreduce节点使用新API

来源:互联网 发布:怎么获得淘宝优惠券 编辑:程序博客网 时间:2024/05/21 18:47

在mapreduce节点使用new api的注意事项, 基于cloudera4.2:

增加配置, 声明使用newapi

                               <property>
<name>mapred.mapper.new-api</name>
<value>true</value>
</property>
<property>
<name>mapred.reducer.new-api</name>
<value>true</value>
</property>


将原配置文件中mapre.map.class和mapre.reduce.class改为mapreduce.map.class和mapreduce.reduce.class

                                <property>
<name>mapreduce.map.class</name>
<value>com.boco.*Mapper</value>
</property>
<property>
<name>mapreduce.reduce.class</name>
<value>com.boco.*Reducer </value>
</property>

如果提交的mapreduce不运行需要增加acl配置

                                 <property>
<name>oozie.launcher.mapreduce.job.acl-view-job</name>
<value>*</value>
</property>

自定义inputformat和outputformat的配置

<property>
                    <name>mapreduce.inputformat.class</name>
                    <value>com.boco.*InputFormat</value>
                </property>
                <property>
                    <name>mapreduce.outputformat.class</name>
                    <value>org.apache.hadoop.mapreduce.lib.output.TextOutputFormat</value>

                </property>


转载:http://blog.csdn.net/liu_b_milan/article/details/8874387

0 0