hadoop的io操作

此文是一篇读书笔记，由于刚刚接触，很多知识点没有深入。很多地方存在不合理之处，望指出，谢谢。深入知识点会后续补上。

老鸟就不用看了；

Hadoop工程下与I/O相关的包如下：

org.apache.hadoop.io

org.apache.hadoop.io.compress

org.apache.hadoop.io.file.tfile

org.apache.hadoop.io.serializer

org.apache.hadoop.io.serializer.avro

除了org.apache.hadoop.io.serializer.avro是用于Avro提供数据序列化操作外，其余都是用户Hadoop的I/O操作。

1 I/O操作中的数据检查

校验和方式是检查数据完整性的重要方式。一般会通过对比新旧校验和来确定数据情况，若两者不同则说明数据已经损坏。

HDFS会对写入的所有数据计算校验和，并在读取数据时验证校验和。

常用的错误检测码是CRC-32（循环冗余校验）。任何大小的数据输入均计算得到一个32位的整数校验和。

hadoop采用HDFS作为默认的文件系统，需要考虑两方面的数据完整性：

（1）对本地文件I/O的检查

在Hadoop中，本地文件系统的数据完整性由客户端负责。重点在于存车读取文件时进行校验和的处理。

具体做法是：每当hadoop创建文件a时，hadoop就会同时在同一个文件夹下创建隐藏文件.a.crc，这个文件记录了 文件a的校验和。针对数据文件的大小，每512个字节会生成一个32位的校验和（4字节），可以在src/core/core-default.xml中通过修改io.bytes.per.checksum的大小来修改每个校验和所针对的文件的大小。

在hadoop中，校验和系统单独为一类---org.apache.hadoop.fs.ChecksumFileSystem，当需要校验和机制时，可以很方便的调用它来服务。

（2）对HDFS的I/O数据进行检查

一般来说，HDFS会在三种情况下检验校验和：

1）DataNode接收数据后存储数据前

DataNode接收数据一般有两种情况：一是客户从客户端上传数据；二是DataNode从其他DataNode上接收数据。当客户端上传数据时，Hadoop会根据预定规则形成一条数据管线。

图7-1（Hadoop实战第二版）是一个典型的副本管线（数据被分为3）。数据0是原数据，数据1，数据2，数据3是 备份。

数据按管线流动以完成数据的上传及备份过程。其数据就是先在客户端这个节点上保存数据，备份1在接收数据的同时也会把接收到的数据发送给备份2所在的机器，若过程顺利，三个备份形成的时间相差不多。

DataNode数据存储步骤：（包括从DataNode和客户端两种传输方式）

Ⅰ：在传输数据的最开始阶段，Hadoop会简单地检查数据块的完整性信息；

Ⅱ：依次向各个DataNode传输数据，包括数据头信息、块信息、备份个数、校验和等；

Ⅲ：Hadoop不会在数据每流动到一个DataNode时都检查校验和，它只会在数据流达到最后一个节点时才检查校验和。

2）客户端读取DataNode上的数据时

Hadoop会在客户端读取DataNode上的数据时，使用DFSClient中的read函数先将数据读入到用户的数据缓冲区，然后再检查校验和。

3）DataNode后台守护进程的定期检查

DataNode会在后台运行DataBlockScanner，这个程序会定期检查此DataNode上的所有数据块。

2 数据恢复

基本思路是：HDFS存储至少三个相同的数据块，假设数据块1，2,3时相同的三个数据块，

①客户端读取数据块1时，检测到数据块1发生了错误，首先向namenode报告数据块1已经损坏；并抛出异常信息；

②namenode将这个数据块1标记成已损坏，所以namenode不会再分配客户端去读取数据块1，而是分配客户端去读取数据块2或者数据块3；

③为了保证正确数据块1的数量不变，会复制数据块2或3到datanode的数据块4中；

④删除已损坏数据块1，这样就保证复本因子的不变。数据块数量为3.

在hadoop上进行数据读操作时，若发现某数据快失效，读操作涉及的用户，DataNode和NameNode都会尝试来恢复数据块，恢复成功后设置标签，防止其他角色重复恢复。

1）检查已恢复标签

检查一致的数据块恢复标记，若已经恢复，则直接跳过恢复阶段。

2）统计各个备份数据块恢复状态

在这个阶段，DataNode会检查所有出错数据块备份的DataNode，查看这些节点上数据块的恢复情况，将其作为一条记录保存在数据块记录表中。

3）找出所有正确版本数据块中最小长度的版本

DataNode会扫描上一阶段中保存的数据块记录，判断当前副本是否正在恢复；

是：跳过；

否：判断是否配置参数设置了恢复需要保存原副本长度：

是：将恢复长度相同的副本加入待恢复队列；

否：将所有正确的副本加入到待恢复队列。

4）副本同步

若需要保持副本长度，则直接同步长度相同的副本即可，否则以长度最小的副本同步其他副本。

3 数据压缩

对于任何大容量的分布式存储而言，文件压缩都是必须的，文件压缩带来的好处是：

Ⅰ：减少文件所需的存储空间；

Ⅱ：加快文件在网络上或磁盘上的传输速率；

hadoop关于文件压缩的代码几乎都在package.org.apache.hadoop.io.compress中。

（1）hadoop对压缩工具的选择

压缩一般是在时间和空间上的一种权衡。一般来说，更长的压缩时间会接生过更多的空间。不同的压缩算法之间有一定的区别。

（2）压缩分割和输入分割

压缩分割和输入分割时很重要的。bzip2支持文件分割，用户可以分开读取每块内容并分别处理之，因此bizip2压缩的文件可分割存储

（3）在MapReduce程序中使用压缩

在MapReduce中使用压缩非常简答，只需在它进行Job配置时配置好conf就可以了。

设置map处理后压缩数据的代码如下：

JobConf conf = new Jobconf();

conf.setBoolean("mapred.compress.map.output",true);

对一般情况，压缩总是好的，无论是对最终结果的压缩还是对map处理后的中间数据进行压缩。

4 数据的I/O中序列化操作

序列化是将对象转化为字节流的方法，或者说用字节流描述对象的方法。与序列化相对的是反序列化，反序列化就是将字节流转化为对象的方法。序列化有两个目的  ：

进程间通信；

数据持久性存储；

hadoop采用RPC来实现进程间通信 。一般而言，RPC的序列化机制有以下特点：

紧凑：紧凑的格式可以充分利用带宽，加快传输速度；

快速：能减少序列化和反序列化的开销；

可扩展性：可以逐步改变，是客户端与服务器端直接相关 的；

互操作性：支持不同语言编写的客户端与服务器交互数据；

在hadoop中，序列化处于核心地位。因为无论是存储文件还是计算中传输数据，都需要执行序列化过程。hadoop并没有采用java提供的序列化机制（java object serialization），而是自己重新写了一个序列化机制Writeables，它具有紧凑，快速的特点，更方便。

（1）Writable类

Writable是hadoop的核心，hadoop通过它定义了hadoop中基础的数据类型和操作。一般来说，无论是 上传下载数据还是运行MapReduce程序，无时无刻不需要使用Writable类，

Writeable类中只定义了两种方法：序列化输出数据流和反序列化输入数据流；

或者这样分类：将其状态写到DataOutput二进制流（序列化）和从DataInput二进制流读取状态（发序列化）；

1）Hadoop的比较器

WritableComparable是Hadoop中的接口类。

在执行MapRedure，我们知道会对key默认的排序输出，就是WritableComparable的功劳。

2）writable类中的数据类型

java基本类；例如：boolean，byte，int，float，long，double（6个）

其他类

NullWritable：这是一个占位符，他的序列化长度为0

BytesWritable和ByteWritable：BytesWritable是一个二进制数据数组的封装；ByteWritable是二进制数据封装

Text：hadoop对string类型的重写，使用标准的UTF-8编码。可以理解成Java中String类，但有一定的区别，例如索引、可变性等；

ObjectWritable：一种多类型的封装。

ArrayWritable和TwoArrayWritable：针对数组和二维数组的构建的数据类型。

MapWritable和SortedMapWritable：分别是java.util.Map()和java.util.SortedMap()的实现。

CompressedWritable：保存压缩数据的 数据结构。

GenericWritable：通用的数据封装类型。

VersionedWritable:一个抽象的版本检查类。

（2）实现自己的hadoop数据类型

hadoop可以支持实现自己的数据类型。

5 序列化框架Avro

尽管大部分MapReduce程序使用的是Writeable类型的key和value，但不是强制使用。可以使用任何类型，只要能有一种机制对每个类型进行类型和二进制表示来回转换。

序列性框架就是解决这种问题，它是用一个Serialization实现来表示，Avro就是一种序列化框架。

6 针对MapReduce的文件类

对于默写应用，需要特殊的数据结构来存储自己的数据。针对此需求，hadoop提供了一些更高层次的容器。

hadoop定义了一些文件数据结构以适应Mapreduce编程框架的需要，其中SequenceFile和MapFile两种类型非常重要。Map输出的中间结果就是由他们表示的，其中，MapFile是经过排序并带有索引的SequenceFile.

（1）SequenceFile类

记录的是key/value对的列表，是序列化之后的二进制文件，因此不能直接查看，可通过命令查看文件内容。

hadoop fs -text MySequenceFile

sequence有三种不同类型的结构：

未压缩的key/value对；

记录压缩的key/value对（只有value被压缩）；

Block压缩的key/value对；

注：未压缩和只压缩value的SequenceFile数据格式，两种数据格式相同。

（2）MapFile类

MapFile的使用与SequenceFile类似，与SequenceFile生成一个文件不同，这个程序生成一个文件夹。

（3）ArrayFile，SetFile和BloomMapFile

ArrayFile继承自MapFile，保存的是从Integer到value的映射关系。

SetFile继承自MapFile，同JAVA的set类似，仅仅是一个key的集合，而没有任何value。

BloomMapFile在实际使用中发挥的作用和MapFile类似，只是增加了过滤功能。

参考文章：

Hadoop实战第二版第七章 （未加粗）

hadoop权威指南第三版第四章（加粗）