hadoop专有的数据类型
来源:互联网 发布:linux gzip解压命令 编辑:程序博客网 时间:2024/06/15 23:58
一 Writable和writableComparable接口
Writable接口:
import java.io.DataInput;import java.io.DataOutput;import java.io.IException;public interface Writable{ void write(DataOutput out) throw IOException; void readFields(DataInput in) throws IException;}
其中Writable接口的主要目的是,当数据在网络上传输或从硬盘读写时,提供数据的序列化和反序列化机制。所有作用mapper或reducer输入或者输出值得数据类型(也就是 说,V1,V2或V3)都必须实现这个接口。
如果作键的数据(K1,K2,K3)有着更为严格的要求:除了Writable之外,它必须实现标准java中的Comparable接口:
public interface Comparable{ public int compareTo(Object obj);}
二 wrapper类的介绍
1 原始包装类
BooleanWritable
ByteWritable
DoubleWritable
FloatWritable
IntWritable
LongWritable
VIntWritable:可变长度的整数类型
VLongWritable:可变长度的长整形
2 数组包装类
这些类的实例可以存储IntWritable和DoubleWritable类型的数组,却不能存储原始的整数或者浮点数类型的数组,这些类需要继承Writable类。
ArrayWritable
TwoDArrayWritable
3 Map包装类
这些类允许使用java.util.Map接口作为键或值。它们被定义为Map<Writable,Writable>,并有效管理部分内部运行时类型检查。
AbstractMapWritable:这个是其他具体的WritableMap包装类的基类
MapWritable:这个是一个通用的map包装类,将Writable键映射为Writable值
sortedMapWritable:这是MapWritable类的一个特殊实现,它同时也实现了SortedMap接口。
以上来自《hadoop基础教程》总结
- hadoop专有的数据类型
- 专有类的方式
- hadoop支持的数据类型
- hadoop 支持的数据类型
- hadoop支持的数据类型
- hadoop数据类型与java 数据类型的转换
- python类的专有方法
- hadoop的数据类型的应用
- Hadoop的自定制数据类型
- 选择合适的Hadoop数据类型
- Hadoop 数据类型
- hadoop数据类型
- Hadoop数据类型
- Hadoop数据类型
- Hadoop数据类型
- Hadoop数据类型
- Hadoop 数据类型
- hadoop 数据类型
- 循环链表应用
- 第四周单链表的应用(1)——逆置
- UITableView的使用
- 【项目4 - 建设双链表算法库】
- mfc自定义工具栏如何锁定
- hadoop专有的数据类型
- HDU 5495 LCS
- CentOS 7 如何设置默认启动方式为命令行模式
- NOIP四校联训Round3小结
- Git使用
- 第4周项目3- 单链表算法(3)
- 20151005考试总结
- 第六周--项目二--建立链栈算法库
- 【第6周 项目1 - 建立顺序栈算法库】