hadoop深入研究:(十)——序列化与Writable接口
来源:互联网 发布:护甲套淘宝 编辑:程序博客网 时间:2024/06/05 10:25
转自:http://blog.csdn.net/lastsweetop/article/details/9193907
所有源码在github上,https://github.com/lastsweetop/styhadoop
简介
序列化和反序列化就是结构化对象和字节流之间的转换,主要用在内部进程的通讯和持久化存储方面。
通讯格式需求
hadoop在节点间的内部通讯使用的是RPC,RPC协议把消息翻译成二进制字节流发送到远程节点,远程节点再通过反序列化把二进制流转成原始的信息。RPC的序列化需要实现以下几点:
1.压缩,可以起到压缩的效果,占用的宽带资源要小。
2.快速,内部进程为分布式系统构建了高速链路,因此在序列化和反序列化间必须是快速的,不能让传输速度成为瓶颈。
3.可扩展的,新的服务端为新的客户端增加了一个参数,老客户端照样可以使用。
4.兼容性好,可以支持多个语言的客户端
存储格式需求
表面上看来序列化框架在持久化存储方面可能需要其他的一些特性,但事实上依然是那四点:
1.压缩,占用的空间更小
2.快速,可以快速读写
3.可扩展,可以以老格式读取老数据
4.兼容性好,可以支持多种语言的读写
hadoop的序列化格式
hadoop自身的序列化存储格式就是实现了Writable接口的类,他只实现了前面两点,压缩和快速。但是不容易扩展,也不跨语言。
我们先来看下Writable接口,Writable接口定义了两个方法:
1.将数据写入到二进制流中
2.从二进制数据流中读取数据
- package org.apache.hadoop.io;
- public interface Writable {
- void write(java.io.DataOutput p1) throws java.io.IOException;
- void readFields(java.io.DataInput p1) throws java.io.IOException;
- }
我们再来看下Writable接口与序列化和反序列化是如何关联的:
- package com.sweetop.styhadoop;
- import junit.framework.Assert;
- import org.apache.hadoop.io.IntWritable;
- import org.apache.hadoop.io.Writable;
- import org.apache.hadoop.util.StringUtils;
- import org.junit.Before;
- import org.junit.Test;
- import java.io.*;
- /**
- * Created with IntelliJ IDEA.
- * User: lastsweetop
- * Date: 13-7-4
- * Time: 下午10:25
- * To change this template use File | Settings | File Templates.
- */
- public class TestWritable {
- byte[] bytes=null;
- /**
- * 初始化一个IntWritable实例,并且调用系列化方法
- * @throws IOException
- */
- @Before
- public void init() throws IOException {
- IntWritable writable = new IntWritable(163);
- bytes = serialize(writable);
- }
- /**
- * 一个IntWritable序列号后的四个字节的字节流
- * 并且使用big-endian的队列排列
- * @throws IOException
- */
- @Test
- public void testSerialize() throws IOException {
- Assert.assertEquals(bytes.length,4);
- Assert.assertEquals(StringUtils.byteToHexString(bytes),"000000a3");
- }
- /**
- * 创建一个没有值的IntWritable对象,并且通过调用反序列化方法将bytes的数据读入到它里面
- * 通过调用它的get方法,获得原始的值,163
- */
- @Test
- public void testDeserialize() throws IOException {
- IntWritable newWritable = new IntWritable();
- deserialize(newWritable,bytes);
- Assert.assertEquals(newWritable.get(),163);
- }
- /**
- * 将一个实现了Writable接口的对象序列化成字节流
- * @param writable
- * @return
- * @throws IOException
- */
- public static byte[] serialize(Writable writable) throws IOException {
- ByteArrayOutputStream out = new ByteArrayOutputStream();
- DataOutputStream dataOut = new DataOutputStream(out);
- writable.write(dataOut);
- dataOut.close();
- return out.toByteArray();
- }
- /**
- * 将字节流转化为实现了Writable接口的对象
- * @param writable
- * @param bytes
- * @return
- * @throws IOException
- */
- public static byte[] deserialize(Writable writable,byte[] bytes) throws IOException {
- ByteArrayInputStream in=new ByteArrayInputStream(bytes);
- DataInputStream dataIn = new DataInputStream(in);
- writable.readFields(dataIn);
- dataIn.close();
- return bytes;
- }
- }
WritableComparable和comparators
IntWritable实现了WritableComparable,接口看下源代码知道,WritableComparable是Writable接口和java.lang.Comparable<T>的一个子接口。- package org.apache.hadoop.io;
- public interface WritableComparable <T> extends org.apache.hadoop.io.Writable, java.lang.Comparable<T> {
- }
- package org.apache.hadoop.io;
- public interface RawComparator <T> extends java.util.Comparator<T> {
- int compare(byte[] bytes, int i, int i1, byte[] bytes1, int i2, int i3);
- }
- package com.sweetop.styhadoop;
- import org.apache.hadoop.io.IntWritable;
- import org.apache.hadoop.io.RawComparator;
- import org.apache.hadoop.io.Writable;
- import org.apache.hadoop.io.WritableComparator;
- import org.eclipse.jdt.internal.core.Assert;
- import org.junit.Before;
- import org.junit.Test;
- import java.io.ByteArrayOutputStream;
- import java.io.DataOutputStream;
- import java.io.IOException;
- /**
- * Created with IntelliJ IDEA.
- * User: lastsweetop
- * Date: 13-7-5
- * Time: 上午1:26
- * To change this template use File | Settings | File Templates.
- */
- public class TestComparator {
- RawComparator<IntWritable> comparator;
- IntWritable w1;
- IntWritable w2;
- /**
- * 获得IntWritable的comparator,并初始化两个IntWritable
- */
- @Before
- public void init() {
- comparator = WritableComparator.get(IntWritable.class);
- w1 = new IntWritable(163);
- w2 = new IntWritable(76);
- }
- /**
- * 比较两个对象大小
- */
- @Test
- public void testComparator() {
- Assert.isTrue(comparator.compare(w1, w2) > 0);
- }
- /**
- * 序列号后进行直接比较
- * @throws IOException
- */
- @Test
- public void testcompare() throws IOException {
- byte[] b1 = serialize(w1);
- byte[] b2 = serialize(w2);
- Assert.isTrue(comparator.compare(b1, 0, b1.length, b2, 0, b2.length) > 0);
- }
- /**
- * 将一个实现了Writable接口的对象序列化成字节流
- *
- * @param writable
- * @return
- * @throws java.io.IOException
- */
- public static byte[] serialize(Writable writable) throws IOException {
- ByteArrayOutputStream out = new ByteArrayOutputStream();
- DataOutputStream dataOut = new DataOutputStream(out);
- writable.write(dataOut);
- dataOut.close();
- return out.toByteArray();
- }
- }
- hadoop深入研究:(十)——序列化与Writable接口
- hadoop深入研究:(十)——序列化与Writable接口
- hadoop深入研究:(十一)——序列化与Writable实现
- hadoop序列化与Writable接口
- Hadoop 学习研究(一): 序列化与Writable
- 序列化与Writable接口
- hadoop深入研究:(十二)——自定义Writable
- hadoop深入研究:(十二)——自定义Writable
- Hadoop 的Writable序列化接口
- Hadoop序列化与Writable源码分析
- hadoop深入研究:(十六)——Avro序列化与反序列化
- hadoop深入研究:(十三)——序列化框架
- hadoop深入研究:(十三)——序列化框架
- Hadoop详解(三)——MapReduce原理和执行过程,远程Debug,Writable序列化接口,MapReduce程序编写
- hadoop之Writable序列化
- Hadoop阅读笔记——洞悉Hadoop序列化机制Writable
- Hadoop Serialization hadoop序列化详解(最新版) (1)【java和hadoop序列化比较和writable接口】
- 序列化与Writable实现
- hadoop深入研究:(九)——mapreduce中的压缩
- 【tp-link路由器默认用户名与密码 】
- Linux内核-进程内核栈、用户栈
- C#基于Surfer开发
- CSS实现完美垂直居中
- hadoop深入研究:(十)——序列化与Writable接口
- 将WRF文件转换成其它格式
- pl/sql developer command window中出现乱码
- 百度质量部测试开发实习生面试总结(技术二面)
- 【ERP流程图】:生产制造
- ArcEngine获取ArcGIS Server上的地图服务
- 【不为人知的MAC地址与IP地址捆绑方式】
- poj2488
- k860i 4.2root成功,用root大师20130705