Hadoop文件解压缩
来源:互联网 发布:腾讯视频数据分析 编辑:程序博客网 时间:2024/06/04 18:27
Class org.apache.hadoop.io.compress .CompressionCodecFactory
A factory that will find the correct codec for a given filename.
Method CompressionCodec getCodec(Path file)
Find the relevant compression codec for the given file based on its filename suffix.
获得这个压缩数据文件采用哪种压缩数据算法。
package Compress;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.io.compress.CompressionCodec;import org.apache.hadoop.io.compress.CompressionCodecFactory;import org.apache.hadoop.io.compress.CompressionInputStream;import org.apache.hadoop.mapreduce.Job;/** * 解压缩 * @author liguodong */public class Decompression { final static String file = "/liguodong/data.gz"; public static void main(String[] args) throws IOException { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "DeCodec"); //打包运行必须执行的方法 job.setJarByClass(Decompression.class); CompressionCodecFactory codecFactory = new CompressionCodecFactory(conf); //返回一个解压缩的实例 CompressionCodec codec = codecFactory.getCodec(new Path(file)); //返回被算法解压了的输入流 CompressionInputStream inputStream = codec.createInputStream (new FileInputStream(new File(file))); //将输入流文件写出到去除了扩展名的文件 FileOutputStream outputStream = new FileOutputStream (new File(codecFactory.removeSuffix(file, codec.getDefaultExtension()))); IOUtils.copyBytes(inputStream, outputStream, conf); }}
打成jar包:Decodec.jar
[root@master liguodong]# yarn jar Decodec.jar15/06/05 21:54:25 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library[root@master liguodong]# ll总用量 524824-rw-r--r-- 1 root root 1492 6月 5 19:47 codec.jar-rw-r--r-- 1 root root 536870912 6月 5 21:54 data-rw-r--r-- 1 root root 521844 6月 5 21:40 data.gz
0 0
- Hadoop文件解压缩
- 解压缩hadoop文件到指定的目录
- 解压缩文件
- 解压缩文件
- 解压缩文件
- 解压缩文件
- 解压缩文件
- 解压缩文件
- 解压缩文件
- 解压缩文件
- 文件解压缩
- 文件解压缩
- 文件解压缩
- 解压缩文件
- hadoop添加snappy解压缩库
- java解压缩文件
- 利用C#解压缩文件
- 文件解压缩操作
- 1244的起源
- hdu 2795 Billboard 线段树 点更新
- 工程Makefile实例
- Microsoft Visual Studio 2010 如何添加控制台调试信息
- GreenDao官方文档翻译
- Hadoop文件解压缩
- Android的ScrollView和HorizontalScrollView-android学习之旅(四十一)
- mysql 架构与概念
- Structs 整合Spring
- zerglurker的C语言教程001——开发环境搭建
- Android实现回退
- Timer和TimerTask详解——(转)
- 解决RecyclerView 在XML文件中,不能preview
- Contiki网络协议栈uIP和rime