4种常用压缩格式在Hadoop中的应用
来源:互联网 发布:淘宝上怎么买汽枪 编辑:程序博客网 时间:2024/05/18 20:53
4种常用压缩格式在Hadoop中的应用
目前在Hadoop中用得比较多的有lzo,gzip,snappy,bzip2这4种压缩格式,笔者根据实践经验介绍一下这4种压缩格式的优缺点和应用场景,以便大家在实践中根据实际情况选择不同的压缩格式。
--------------------------------------分割线 --------------------------------------
相关阅读:
Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm
Hadoop集群上使用Lzo压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm
--------------------------------------分割线 --------------------------------------
1 gzip压缩
优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库;大部分linux系统都自带gzip命令,使用方便。
缺点:不支持split。
应用场景:当每个文件压缩之后在130M以内的(1个块大小内),都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个gzip文件,运行mapreduce程序的时候通过多个gzip文件达到并发。hive程序,streaming程序,和java写的mapreduce程序完全和文本处理一样,压缩之后原来的程序不需要做任何修改。
2 lzo压缩
优点:压缩/解压速度也比较快,合理的压缩率;支持split,是hadoop中最流行的压缩格式;支持hadoop native库;可以在linux系统下安装lzop命令,使用方便。
缺点:压缩率比gzip要低一些;hadoop本身不支持,需要安装;在应用中对lzo格式的文件需要做一些特殊处理(为了支持split需要建索引,还需要指定inputformat为lzo格式)。
应用场景:一个很大的文本文件,压缩之后还大于200M以上的可以考虑,而且单个文件越大,lzo优点越越明显。
3 snappy压缩
优点:高速压缩速度和合理的压缩率;支持hadoop native库。
缺点:不支持split;压缩率比gzip要低;hadoop本身不支持,需要安装;linux系统下没有对应的命令。
应用场景:当mapreduce作业的map输出的数据比较大的时候,作为map到reduce的中间数据的压缩格式;或者作为一个mapreduce作业的输出和另外一个mapreduce作业的输入。
4 bzip2压缩
优点:支持split;具有很高的压缩率,比gzip压缩率都高;hadoop本身支持,但不支持native;在linux系统下自带bzip2命令,使用方便。
缺点:压缩/解压速度慢;不支持native。
应用场景:适合对速度要求不高,但需要较高的压缩率的时候,可以作为mapreduce作业的输出格式;或者输出之后的数据比较大,处理之后的数据需要压缩存档减少磁盘空间并且以后数据用得比较少的情况;或者对单个很大的文本文件想压缩减少存储空间,同时又需要支持split,而且兼容之前的应用程序(即应用程序不需要修改)的情况。
最后用一个表格比较上述4种压缩格式的特征(优缺点):
更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
本文永久更新链接地址:http://www.linuxidc.com/Linux/2014-04/101230.htm
- 4种常用压缩格式在Hadoop中的应用
- [hadoop]常用压缩格式在Hadoop中的应用(spark)
- 压缩在hadoop中的应用
- hadoop 四种压缩格式
- hadoop 四种压缩格式
- hadoop中4种压缩格式的特征的比较
- hadoop中4中常用的压缩格式的特征的比较
- hadoop压缩格式
- hadoop的压缩格式
- hadoop文件压缩格式
- Hadoop在淘宝中的应用
- Zookeeper 在Hadoop中的应用
- ZOOKEEPER在HADOOP中的应用
- 常用的几种压缩格式
- Hadoop MapReduce中的压缩
- Hadoop中的压缩Codec
- 4.hadoop中的压缩
- Hadoop平台在云计算中的应用
- php搭建mvc框架四(加载控制器)
- Linux学习总结(九)——网络编程
- [莫比乌斯反演 高斯消元 数学技巧] BZOJ 3601 一个人的数论
- 文章标题
- tomcat 启动异常
- 4种常用压缩格式在Hadoop中的应用
- 深入理解Java(二):注解(Annotation)自定义注解入门
- cxf框架Demo2(web项目中创建类的cxf服务)
- ListView的多布局显示
- 数据库部分2
- oj-15-G-将字符串插入到指定位置
- Linux驱动开发(一)——驱动开发基础
- RocketMQ broker 注册 IP 问题
- windows和linux安装matplotlib教程