hdfs的序列

来源:互联网 发布:华腾软件系统有限公司 编辑:程序博客网 时间:2024/05/23 16:39

为什么Hadoop基本类型还要定义序列化?
Hadoop在集群之间通信或者RPC调用时需要序列化,而且要求序列化要快,且体积要小,占用带宽小。
java的序列化机制占用大量计算开销,且序列化结果体积过大;它的引用机制也导致大文件不能被切分,浪费空间;此外,很难对其他语言进行扩展使用;
java的反序列化过程每次都会构造新的对象,不能复用对象。

Hadoop定义了两个序列化相关接口
Writable和Comparable

WritableComparable接口相当于继承了上述两个接口的新接口 
Public interface WritableComparable
extends Writable,Comparable

原创粉丝点击