Hadoop压缩类型

压缩类型

工具

算法

文件名后缀

可分割

DEFLAT

无

DEFLAT

.deflat

不

gzip

gzip

DEFLAT

.gz

不

bzip2

bzip2

bzip2

.bz2

可

LZO

Lzop

LZO

.lzo

不

LZ4

无

LZ4

.lz4

不

Snappy

无

Snappy

.snappy

不

       比较而言，gzip在对时间与空间的处理问题上更加均衡一些。相对gzip来说，

bzip2压缩效率更高，比gzip效率更高，压缩后的文件占据的空间更小，但是其

需要的时间更长

      在HDFS文件格式，文件时分割在一个个不同的block中进行存储。而gzip是不

可分割的，那么如果采用gzip作为压缩工具，将文件切割成多个block，会发现

程序部能运行，其原因是系统默认的DEFLATE算法（gzip的核心算法）在压缩过

程中将数据进行连续的非指向性排列，若从其中一个位置被分割，那么无法确

保FileSystem实例在获取完一个单独的block后，能够及时准确地获取接下来的那

一个连续的block位置。

      但gzip压缩后的大文件可以被Hadoop以串联的方式存储在同一个节点中连续

的block中，即所有的数据都以链式的结构存储在同一个节点上，Hadoop做的仅

仅是对容量进行了压缩。只是由于其后续处理需要对文件进行读取操作时，所

有存储有数据的block将会一次由同一个数据输入任务来处理。