MapReduce中使用BytesWritable类型时要注意
来源:互联网 发布:温差发电片相关数据 编辑:程序博客网 时间:2024/06/08 15:50
转载地址:http://blog.csdn.net/xcytec/article/details/20909151
在MR程序中出现错误,数据读取的内容和原文件不一致,经过定位是因为使用BytesWritable类型导致的。
原因见:http://dongxicheng.org/mapreduce-nextgen/hadoop-streaming-process-binary-data/
“BytesWritable,使用这个类型非常容易犯错误。当你把一堆byte[]数据保存到BytesWritable后,通过BytesWritable.getBytes()再读到的数据并不一定是原数据,可能变长了很多,这是因为BytesWritable采用了自动内存增长算法,你保存的数据长度为size时,它可能将数据保存到了长度为capacity(capacity>size)的buffer中,这时候,你通过BytesWritable.getBytes()得到的数据最后一些字符是多余的,如果里面保存的是protocolbuffer序列化后的字符串,则无法反序列化,这时候可以使用BytesWritable.setCapacity (value.getSize())将后面多余空间剔除掉。”
个人建议是不使用这个类型,因为有时候因为这个错误导致的错误非常隐蔽。因为我已经料想到这里有坑,在读出内容时进行特殊处理
Stringcontent = new String(value.getBytes(), 0, value.getLength());
即使这样,依然掉到坑里。
不过上面所述的setCapacity我倒没有试过。
- MapReduce中使用BytesWritable类型时要注意
- MapReduce中使用BytesWritable类型时要注意
- BytesWritable使用
- Mapreduce中Combiner的使用以及注意点
- Mapreduce中分布式缓存的使用注意点
- Objective C中block类型使用注意
- JavaBean中布尔类型使用注意
- JavaBean中布尔类型使用注意
- 数据库中字段类型 要特别注意
- MapReduce开发中需要注意的几个问题
- Oracle存储过程中使用记录类型注意的问题
- mongodb中使用mapreduce
- mapreduce中使用计数器
- 引用类型的使用注意
- 写mapreduce时的注意点
- 使用Java的RTTI(运行时类型信息)要注意的地方
- Hibernate 中Pojo类的实现要注意类型!
- javascript 在 asp.net 中使用时要注意!
- mxnitro浏览器 v1.0.0.500 官方版
- 使用端口号的NAT(NAPT, Network Address and Port Translation)与UPnP (by quqi99)
- codebook算法(背景建模)的原理——该算法对光照非常敏感
- win7 安装vs2010报错 Error code -939523550
- spring中使用quarts实现任务定制与管理
- MapReduce中使用BytesWritable类型时要注意
- 最长路径问题dp
- 请求的资源在使用中。 (异常来自 HRESULT0x800700AA)
- 深入研究JavaScript的Module模式
- Javascript 类型及类型判断
- USB设备驱动
- 页面局部缓存
- JAVA MemCache 史无前例的详细讲解!看完包精通MEMCACHE!
- java统计文件中字符,数字,汉字,空格数目