Hadoop入门(七)之java对应的Hadoop数据类型及自定义类型序列化
来源:互联网 发布:东莞网络写手招聘 编辑:程序博客网 时间:2024/06/05 20:11
首先,我们都知道,Hadoop的读写都是通过流来实现的。在java中想把一个对象通过流进行读写,我们时要把它序列化和反序列化(Serialization、Deserialization)的。那么,Hadoop的对象读写操作也需要序列化-----格式:Writable 。序列化在分布式环境的两大作用:进程间通信,永久存储。
下面,我们说一下Hadoop的数据类型:
Hadoop数据类型,基本上都是Writable接口的实现类。
上一篇,我们提到的数据类型Text对应java中的String(默认utf-8序列)
java基本类型 Writable实现 序列化大小(字节)
boolean BooleanWritable 1
byte ByteWritable 1
int IntWritable (或VintWritable) 4(1~5)
float FloatWritable 4
long LongWritable(或VlongWritable) 8(1~9)
double DoubleWritable 8
再说一下Writable接口;
§Writable接口, 是根据 DataInput 和 DataOutput 实现的简单、有效的序列化对象.
§Mapper、Reducer的任意Key和Value必须实现Writable接口。
MR的任意key必须实现WritableComparable接口(而Java值对象的比较:一般需要重写toString(),hashCode(),equals()方法)
Writable接口有2个方法:
public interface Writable{
void write(DataOutpute out) throws IOException; //把每个对象序列化到输出流
void readFields(DataInpute in) throws IOException; //把输入流字节反序列化
}
下面看一下writable接口的完整结构:
下面这个就是自定义数据类型,要实现Writable接口:
下一篇,通过一个自定义类型的实例Demo,去理解自定义类型。
阅读全文
1 0
- Hadoop入门(七)之java对应的Hadoop数据类型及自定义类型序列化
- Hadoop中的序列化:自定义value类型
- Hadoop的序列化和数据类型
- hadoop自定义序列化
- hadoop学习之HDFS(2.4):hadoop数据类型与java数据类型的对比与转换
- Hadoop的序列化类型介绍
- Hadoop自定义可序列化的类
- Hadoop系列-MapReduce自定义数据类型(序列化、反序列化机制)(十二)
- Hadoop 自定义数据类型及输入格式
- Hadoop 自定义序列化编程
- Hadoop之MapReduce的HelloWorld(七)
- 学习总结七:Hadoop的数据类型
- Hadoop入门案例(七)之TOP K
- Hadoop的序列化
- hadoop学习之路_10、自定义序列化类
- C++编程入门系列之七(自定义数据类型)
- hadoop自定义数据类型
- hadoop自定义数据类型
- 初入MyBatis框架<二>
- 利用R语言画简单时间序列图
- 最大公约数和最小公倍数问题
- MySQL之索引
- 进程管理之wait和waitpid
- Hadoop入门(七)之java对应的Hadoop数据类型及自定义类型序列化
- android 动画
- Vue2 指令v-bind v-pre v-cloak v-once
- WPF Border各种属性介绍
- Javascript 基础(一)
- 嵌入式学习29(自实现ls -l)
- 跳转以及解决乱码&getParameter和getAttribute区别
- Java集合——HashMap
- java编程:两个无序数组a和b,交换a,b中的元素,使得[序列a元素的和]与[序列b元素的和]之间的差最小。