hdfs的序列
来源:互联网 发布:华腾软件系统有限公司 编辑:程序博客网 时间:2024/05/23 16:39
为什么Hadoop基本类型还要定义序列化?
Hadoop在集群之间通信或者RPC调用时需要序列化,而且要求序列化要快,且体积要小,占用带宽小。
java的序列化机制占用大量计算开销,且序列化结果体积过大;它的引用机制也导致大文件不能被切分,浪费空间;此外,很难对其他语言进行扩展使用;
java的反序列化过程每次都会构造新的对象,不能复用对象。
Hadoop定义了两个序列化相关接口
Writable和Comparable
WritableComparable接口相当于继承了上述两个接口的新接口
Public interface WritableComparable
extends Writable,Comparable
阅读全文
0 0
- hdfs的序列
- 【HDFS】hdfs的fsck是咋回事
- [HDFS]HDFS的运行原理
- 【HDFS】hdfs文件系统的删除操作
- HDFS一 HDFS的shell操作
- 【HDFS】HDFS中JAVA API的使用
- Hadoop的HDFS
- Hadoop HDFS的维护
- Hadoop的HDFS
- HDFS的设计
- HDFS的基本概念
- HDFS------datanode的初始化
- HDFS的架构要点
- HDFS集群的平衡
- HDFS的设计
- HDFS的一致性分析
- 基于HDFS的FTP
- 基于HDFS的FTP
- matlab基础应用之一元插值
- String与StringBuffer的区别
- C语言中变量的存储类型
- 神通数据库使用druid数据库连接池第一行数据被过滤掉的问题
- 阿里云服务器CentOS6.8安装MySQL
- hdfs的序列
- android AAPI error:
- 魔力手环
- POJ2229 解题报告
- Hadoop On Yarn Mapreduce运行原理与常用数据压缩格式
- “iOS应用架构谈 view层的组织和调用方案”笔记
- 8465:马走日
- 冒泡排序
- 面向对象