Hadoop学习笔记 压缩

1. 简介

---

文件压缩有两大好处：

• 减少存储文件所需要的磁盘空间。
• 并加速数据在网络和磁盘上的传输。

“是否可切分”：表示对应的压缩算法是否支持切分，也就是说说，是否可以搜索数据流的任意位置并一步往下读取数据。

2. codec

---

codec实现了一种压缩-解压缩的算法。
在Hadoop中，一个对CompressionCodec接口的实现代表一个codec。
LZO代码库连接：http://download.csdn.net/detail/it_dx/9667245

3. 通过CompressionCodec对数据流进行压缩和解压缩

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.io.compress.CompressionCodec;import org.apache.hadoop.io.compress.CompressionOutputStream;import org.apache.hadoop.util.ReflectionUtils;public class StreamCompressor {    public static void  main(String[] args) throws Exception{        //将具有压缩的类将参数传入类中,这个类作为CodePressionCodec的具体实现        String codecClassname = args[0];        //对类进行加载        Class<?> codecClass = Class.forName(codecClassname);        Configuration conf = new  Configuration();        CompressionCodec codec = (CompressionCodec)ReflectionUtils.newInstance(codecClass,conf);        //对数据流进行压缩输出使用compressionOutputStream,输入使用：CompressionOutputStream        CompressionOutputStream out = codec.createOutputStream(System.out);        //参数详解        /**         * 第一个参数是输入数据流         * 第二个人参数是经过压缩的输出数据流         * 第三个参数是指缓存区的大小         * 第四个参数是设置结束后是否关闭数据流         * */        IOUtils.copyBytes(System.in,out,4096,false);        out.finish();    }}

执行命令：

• javac StreamCompressor.java
• jar cvf StreamCompressor.jar StreamCompressor.class
• echo “Test” | hadoop jar StreamCompressor.jar StreamCompressor org.apache.hadoop.io.compress.GzipCodec \ | gunzip
  注：使用gunzip从标准输入中对他进行读取并解压缩操作。