hadoop MapReduce序列化

来源:互联网 发布:java或且非符号 编辑:程序博客网 时间:2024/05/23 14:23

序列化是指将结构化对象转化为字节流以便在网络上传输或写到磁盘进行永久存储的过程。序列化在分布式数据处理的两大领域经常出现:进程间通信和永久存储。

在hadoop中,系统中多个节点上进程间的通信是通过“远程过程调用”(RPC)实现的。RPC协议将消息序列化成二进制流后发送到远程节点,远程节点将流发序列化为原始消息。

hadoop自带的org.apache.hadoop.io包中有广泛的Writeable类可供选择,如:Text,IntWritable等,也可以继承Writable来自定义Writable类。

原创粉丝点击