Writable接口 与 WritableComparable接口
来源:互联网 发布:支付宝系统数据库设计 编辑:程序博客网 时间:2024/05/20 23:32
Hadoop中,Writable接口定义了两个方法:
void write(DataOutputout) throws IOException;用户将其状态写入二进制格式的DataOutput流。
void readFields(DataInputin) throws IOException;用于从二进制格式的DataInput流读取其状态
Writable的序列化和反序列化检查:
package com.yc.hadoop.mapreduce;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.DataInputStream;
import java.io.DataOutputStream;
import java.io.IOException;
import org.apache.hadoop.io.Writable;
public class WritableSequenceDemo {
//序列化数据 :结构化数据 转换成 字节数据流
public static byte[] serialize(Writable w) throws IOException{
ByteArrayOutputStream out = new ByteArrayOutputStream();
DataOutputStream dout = new DataOutputStream(out);
w.write(dout);
dout.close();
return out.toByteArray();
}
//反序列化数据 : 字节数据流 转换成 结构化数据
public static String deserialize(Writable w, byte[] bs) throws IOException{
ByteArrayInputStream in = new ByteArrayInputStream(bs);
DataInputStream din = new DataInputStream(in);
w.readFields(din);
din.close();
return w.toString();
}
}
public interface WritableComparable<T>extends Writable, Comparable<T>类型的比较对MapReduce至关重要, 键与键之间的比较在排序阶段完成
- Writable接口 与 WritableComparable接口
- Hadoop 之 Writable , WritableComparable 接口
- Hadoop源码分析:Writable接口和WritableComparable接口
- hadoop的WritableComparable与Writable
- Writable实现类 与 自定义Writable接口
- Hadoop WritableComparable接口
- Hadoop WritableComparable接口
- Hadoop 之 WritableComparable 接口
- Hadoop WritableComparable接口
- 序列化与Writable接口
- Hadoop自定义实现Writable/WritableComparable接口的类方法及应用
- Writable接口
- hadoop序列化与Writable接口
- Hadoop 实现Writable接口
- Hadoop WritableComparable接口收集的知识
- Hadoop1.x MapReduce 实现二次排序 实现WritableComparable接口
- 实现Hadoop的Writable接口Implementing Writable interface of Hadoop
- Hadoop中Writable和WritableComparable区别
- UVA_1600 Patrol Robot
- UVA_439 Knight Moves
- Leetcode题目总结-Linkedlist-题目206和234
- poj 2774 后缀数组
- ISP-镜头阴影校正(LSC)
- Writable接口 与 WritableComparable接口
- HDU 1257 最少拦截系统 (贪心)
- Kotlin 扩展函数详解与应用
- C++(2)
- 爬取QQ音乐2W歌单和50W首歌曲
- 小程序wx.getUserInfo获取用户信息
- bzoj4719 [Noip2016]天天爱跑步
- spring AOP自定义注解方式实现日志管理
- 求和 杜教筛+莫比乌斯反演