OOZIE mapreduce节点使用新API
来源:互联网 发布:怎么获得淘宝优惠券 编辑:程序博客网 时间:2024/05/21 18:47
在mapreduce节点使用new api的注意事项, 基于cloudera4.2:
增加配置, 声明使用newapi
<property>
<name>mapred.mapper.new-api</name>
<value>true</value>
</property>
<property>
<name>mapred.reducer.new-api</name>
<value>true</value>
</property>
将原配置文件中mapre.map.class和mapre.reduce.class改为mapreduce.map.class和mapreduce.reduce.class
<property>
<name>mapreduce.map.class</name>
<value>com.boco.*Mapper</value>
</property>
<property>
<name>mapreduce.reduce.class</name>
<value>com.boco.*Reducer </value>
</property>
如果提交的mapreduce不运行需要增加acl配置
<property>
<name>oozie.launcher.mapreduce.job.acl-view-job</name>
<value>*</value>
</property>
自定义inputformat和outputformat的配置
<property><name>mapreduce.inputformat.class</name>
<value>com.boco.*InputFormat</value>
</property>
<property>
<name>mapreduce.outputformat.class</name>
<value>org.apache.hadoop.mapreduce.lib.output.TextOutputFormat</value>
</property>
转载:http://blog.csdn.net/liu_b_milan/article/details/8874387
- OOZIE mapreduce节点使用新API
- 通过使用的新的浏览器API过滤多余节点
- oozie mapreduce demo
- Oozie mapreduce demo
- CDH5.0.0使用hue中的oozie编辑器创建一个wordcount的mapreduce job
- Oozie API调用Hue JOB
- MapReduce 程序模板 (采用 新/旧API)
- MapReduce直接连接Mysql获取数据 (新API写法)
- MapReduce 程序模板 (采用 新/旧API)
- oozie——mapreduce、mysql2hdfs、hdfs2hive
- Oozie MapReduce Action配置的要点
- 运行oozie自带mapreduce例子
- Oozie自带MapReduce示例的运行
- oozie 中使用hbase
- oozie使用的注意事项
- 使用oozie的注意事项
- Oozie的使用
- 指定oozie java节点的hadoop属性
- 明明白白open_files_limit
- 链接到指定的wifi
- 虚拟机无法启动或者无法关闭的解决办法
- Linux 下设置本机静态IP地址的方法
- 企业级数据库架构方法
- OOZIE mapreduce节点使用新API
- Linux下Mysql的配置
- Virtual Index的测试作用
- 工具收集
- Windows安装ADB驱动
- U盘数据损坏了怎么找回来
- linux内核升级图文攻略
- WPF 布局控件 之 Canvas
- Objective-C中的instancetype和id关键字