mapreduce中一些坑
来源:互联网 发布:知乎付费方式 编辑:程序博客网 时间:2024/05/16 05:17
今天写了一个mapreduce程序,功能是根据query的pv次数,对pv进行排序。
但是写了三个小时,却都没有搞定。最后在同事Wuzhen的搞定下,才输出了正确结果。
总结一下原因。
1. 需要对输入进行转码。转码语句为:
String line = new String(value.getBytes(), 0, value.getLength(), "GBK");
2. 输出编码,需要指定。指定语句为:
job.setOutputFormatClass(GbkOutputFormat.class);
3. 注意OutputPath为目录。
当时我把输入路径设置如下,但是跑完代码,却发现文件大小总是为0,找了很久原因,才发现在query_sort.txt下面还有一个为part-00000的文件!!!!!!!!!
/user/webrank/luliujie/segmentation/query_sort.txt
4. 上面三个问题解决后。我发现输出只有query,没有pv次数。
这个时候,我发现发现原来,我在reduce的输出key为LongWritable,当把它通过下面语句,转为Text时,输出就正常了。
new Text(key.toString())。
0 0
- mapreduce中一些坑
- MapReduce在搜索引擎中一些应用
- Mapreduce中分组排序的一些认识
- 一些mapreduce程序分析
- 对MapReduce一些理解
- MapReduce 的一些算法思路
- 最近写mapreduce程序从hbase中抽取程序遇到的一些问题
- MapReduce源码分析之Task中关于对应TaskAttempt存储Map方案的一些思考
- mongodb中使用mapreduce
- MapReduce中二次排序
- MongoDB中mapReduce详
- hadoop mapreduce中压缩
- MapReduce中设置全局变量
- mapreduce中使用计数器
- MapReduce中加强内容
- MapReduce中数据处理详解
- MapReduce 和 HDFS的一些介绍
- Hadoop MapReduce编程的一些个人理解
- 【bzoj2594】[Wc2006]水管局长数据加强版 link cut tree
- netty4源码解读
- ios之修饰符(public、internal、private)
- 深入理解计算机系统 2.1.1 十六进制记法
- Mac 使用技巧
- mapreduce中一些坑
- 数据结构与算法——用C语言实现一个revert函数,它的功能是将输入的字符串在原串上倒序后返回
- Hikey Android 6.0 版本构建
- Ojbect类的equals和hashCode方法
- 在Android Studio中部署arcgis for android
- IOS程序调用拨打电话的两种方式
- 根据顶点的投影坐标,获取对应的屏幕纹理的纹理坐标
- KMP算法
- js计算一个时间加上n天后得到的时间