MapReduce中使用BytesWritable类型时要注意
来源:互联网 发布:mac 将wma转换成mp3 编辑:程序博客网 时间:2024/05/18 02:05
在MR程序中出现错误,数据读取的内容和原文件不一致,经过定位是因为使用BytesWritable类型导致的。
原因见:http://dongxicheng.org/mapreduce-nextgen/hadoop-streaming-process-binary-data/
“BytesWritable,使用这个类型非常容易犯错误。当你把一堆byte[]数据保存到BytesWritable后,通过BytesWritable.getBytes()再读到的数据并不一定是原数据,可能变长了很多,这是因为BytesWritable采用了自动内存增长算法,你保存的数据长度为size时,它可能将数据保存到了长度为capacity(capacity>size)的buffer中,这时候,你通过BytesWritable.getBytes()得到的数据最后一些字符是多余的,如果里面保存的是protocolbuffer序列化后的字符串,则无法反序列化,这时候可以使用BytesWritable.setCapacity (value.getSize())将后面多余空间剔除掉。”
个人建议是不使用这个类型,因为有时候因为这个错误导致的错误非常隐蔽。因为我已经料想到这里有坑,在读出内容时进行特殊处理
Stringcontent = new String(value.getBytes(), 0, value.getLength());
即使这样,依然掉到坑里。
不过上面所述的setCapacity我倒没有试过。
0 0
- MapReduce中使用BytesWritable类型时要注意
- MapReduce中使用BytesWritable类型时要注意
- BytesWritable使用
- Mapreduce中Combiner的使用以及注意点
- Mapreduce中分布式缓存的使用注意点
- Objective C中block类型使用注意
- JavaBean中布尔类型使用注意
- JavaBean中布尔类型使用注意
- 数据库中字段类型 要特别注意
- MapReduce开发中需要注意的几个问题
- Oracle存储过程中使用记录类型注意的问题
- mongodb中使用mapreduce
- mapreduce中使用计数器
- 引用类型的使用注意
- 写mapreduce时的注意点
- 使用Java的RTTI(运行时类型信息)要注意的地方
- Hibernate 中Pojo类的实现要注意类型!
- javascript 在 asp.net 中使用时要注意!
- nyoj-145-聪明的小珂
- ioctl函数简介
- IOS iphone中结束电话后返回自己的应用
- 中水处理设备分类方法及工艺流程选择
- 马航 挺住 全世界为你接机
- MapReduce中使用BytesWritable类型时要注意
- 2.7. About Secondary Storage
- MySQL 排序检索数据Select——MySQL系列(二)
- android hint 自动消失
- Android ListView 滑动分页
- struts2教程
- IOS怎样使用MessageUI Framework 发送短信息
- UIButton 多个事件 响应同一函数
- 2.8. About Physical Networks