mapreduce 自定义key/value 输出分隔符
来源:互联网 发布:守望先锋源氏cos淘宝网 编辑:程序博客网 时间:2024/05/16 17:51
转载:http://blog.csdn.net/lihuinihao/article/details/17607197
mapreduce 默认情况下 key/value 分隔符为:“\t”
测试的输出如下:
我们可以在代码中进行设置来自定义 key/value 输出分隔符:在代码中添加如下一行代码:
conf.set("mapred.textoutputformat.separator", ";"); //此处以”;“作为分割符,后边介绍为什么这么修改
修改代码后,测试修改结果:
修改原因:
我们checkout hadoop-1.2.1版本
打开文件:TextOutputFormat.java
我们可以看到如下一行代码:
String keyValueSeparator= conf.get("mapred.textoutputformat.separator",
"\t");
代码的意思是:读取设置的key/value输出分隔符,如果没有读取到,默认使用 "\t"
所以我们就在任务执行前设置名称为:mapred.textoutputformat.separator 的自定义值 即可
0 0
- mapreduce 自定义key/value 输出分隔符
- mapreduce 自定义key/value 输出分隔符
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- 如何自定义mapreduce在输出的key和value之间自动添加的分隔符
- mapreduce底层key/value默认分隔符
- hadoop 输出key和value的分隔符设置
- MapReduce之自定义Key和Value
- hadoop 各类key value分隔符参数
- hadoop 各类key value分隔符参数
- hadoop 各类key value分隔符参数
- Hadoop的mapper输出中key和value之间的分隔符
- 【Mapreduce】设置Mapreduce输出键值对的分隔符
- hadoop学习:各类key value分隔符参数
- 如何去掉MapReduce输出的默认分隔符
- hadoop key和value 分隔符号设置
- 关于hadoop的mapreduce编程中自定义key,value建立的类实现writable接口
- MapReduce-自定义Key-二次排序
- 更改Map过程中用于区分不同key/value对的分隔符
- 项目感想好难啊
- OSGI HttpServlet
- 响应式
- C++的成员指针
- CentOS下默认RPM安装路径
- mapreduce 自定义key/value 输出分隔符
- 标签学习
- 数组和字典
- 用户、角色和权限关系
- JAVA NIO之浅谈内存映射文件原理与DirectMemory
- 关于Unity中Shader的内置值
- mongodb复杂查询
- 【算法分析】QQ“一键退朝”之详细计算方法
- 碎碎念