KeyValueTextInputFormat 分割key value For hadoop 1.0
来源:互联网 发布:五常大米销售数据 编辑:程序博客网 时间:2024/06/06 10:40
对于要分割这样的文本:
1,2
1,3
2,4
.......
需要使用hadoop的KeyValueTextInputFormat,于是乎就要配置:
Configuration conf = new Configuration();
Job job = new Job(conf,"MyJob");
conf.set("mapreduce.input.keyvaluelinerecordreader.key.value.separator", ",");
job.setInputFormatClass(KeyValueTextInputFormat.class);
重点是红色部分代码,配置这两个地方就可以,这是hadoop1.0的配置方法
但是很多书上写的都是
jobConf.set("key.value.separator.in.input.line", ",");
job.setOutputFormatClass(TextOutputFormat.class);
很多书上都是这么写的,因为这是旧的api,网上也有很多同学问 为什么KeyValueTextInputFormat 无法分割,
对于hadoop 1.0 要用mapreduce.input.keyvaluelinerecordreader.key.value.separator
hadoop 0.2 要用 key.value.separator.in.input.line
0 0
- KeyValueTextInputFormat 分割key value For hadoop 1.0
- KeyValueTextInputFormat 分割key value For hadoop 1.0
- KeyValueTextInputFormat 分割key value 设置问题:key.value.separator.in.input.line
- 自定义实现Hadoop Key-Value
- 自定义实现Hadoop Key-Value
- hibernate no key for value
- for循环: 遍历字典, 分别打印key, value, key:value
- hadoop 各类key value分隔符参数
- hadoop 各类key value分隔符参数
- hadoop 各类key value分隔符参数
- hadoop key和value 分隔符号设置
- Hadoop Problem : hadoop0.20.2中的KeyValueTextInputFormat
- hadoop 之 InputFormat类 --- KeyValueTextInputFormat 实例
- 增强for循环key和value
- Cocoa Programming for Mac OS X 第七章(Key-Value Coding; Key-Value Observing)摘录
- hadoop学习:各类key value分隔符参数
- hadoop 自定义分组排序,求相同key中value最小值
- hadoop 输出key和value的分隔符设置
- 配置好的Doxygen配置文件
- 数据库集群技术漫谈
- CSS实现图片圆角Box
- django model 返回指定的字段
- 跟着8张思维导图学习javascript
- KeyValueTextInputFormat 分割key value For hadoop 1.0
- linux下的apache部署ssl证书
- response.setContentType()作用及参数------解决输出汉字乱码问题
- IE6下使用float换行问题
- mipi接口LCD调试流程(基于Android4.0版本以后)
- pthread_cancel引起的死锁
- 机器学习&数据挖掘笔记_16(常见面试之机器学习算法思想简单梳理)
- Exchange 2013的powershell报错的解决办法
- LeetCode:Copy List with Random Pointer