关于几种压缩算法以及hadoop和hbase中的压缩配置说明
来源:互联网 发布:淘宝售假处罚标准 编辑:程序博客网 时间:2024/06/08 16:24
Hadoop中常用的压缩算法有bzip2、gzip、lzo、snappy,其中lzo、snappy需要操作系统安装native库才可以支持
下面这张表,是比较官方一点的统计,不同的场合用不同的压缩算法。bzip2和GZIP是比较消耗CPU的,压缩比最高,GZIP不能被分块并行的处理;Snappy和LZO差不多,稍微胜出一点,cpu消耗的比GZIP少。
通常情况下,想在CPU和IO之间取得平衡的话,用Snappy和lzo比较常见一些。
Comparison between compression algorithms
对于数据格式为TextFile,Sequence,以及其他用户自定义的文件格式的文件,都可以采用以上的压缩算法进行压缩;
TextFile在压缩以后,不能split,压缩出来的数据当做job的输入是一个文件作为一个map。SequenceFile本身是分块的,加上lzo的压缩格式,文件可以实现lzo方式的split操作,可以按照record、block进行压缩,一般采用block效率更高一些。
一、hadoop(hive)对mapreduce压缩参数设置
1、mapreduce的中间结果对压缩的支持
方法一:
hadoop 中 mapred-site.xml
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
<property>
<name>mapred.map.output.compression.codec</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
方法二
hive中hive-site.xml
<property>
<name>hive.exec.compress.intermediate</name>
<value>true</value>
<description>Should the outputs of the maps be compressed before being
sent across the network. Uses SequenceFile compression.
</description>
</property>
<property>
<name>hive.intermediate.compression.codec</name>
<value>org.apache.hadoop.io.compress.LzoCodec</value>
<description>If the map outputs are compressed, how should they be
compressed?
</description>
</property>
方法三
hive中shell
set hive.exec.compress.intermediate=true;
set hive.intermediate.compression.codec="org.apache.hadoop.io.compress.LzoCodec";
2、mapreduce的输出结果对压缩的支持
hive-site.xml中配置:
<property>
<name>hive.exec.compress.output</name>
<value>true</value>
<description>Should the job outputs be compressed?
</description>
</property>
<property>
<name>mapred.output.compression.codec</name>
<value>org.apache.hadoop.io.compress.LzoCodec</value>
<description>If the job outputs are compressed, how should they be compressed?
</description>
</property>
或者在hadoop-site.xml中添加:
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.LzoCodec</value>
<description>A list of the compression codec classes that can be used
for compression/decompression.</description>
</property>
<property>
<name>mapred.output.compress</name>
<value>true</value>
<description>Should the job outputs be compressed?
</description>
</property>
<property>
<name>mapred.output.compression.codec</name>
<value>org.apache.hadoop.io.compress.LzoCodec</value>
<description>If the job outputs are compressed, how should they be compressed?
</description>
</property>
二、HBASE对这三种压缩格式的支持
HBase中可以对HFile进行gzip、lzo、snappy方式的压缩存储。
1、对于gzip压缩的支持
hbase(main):001:0> create 'testtable', { NAME => 'colfam1',
COMPRESSION => 'GZ' }
或者alter 'testtable',不过要先disable table,完成压缩后,再enable table
2、对于lzo的支持,需要系统安装lzo动态库,以及hadoop lzo相关的native库,后把native库jar文件copy到hadoop/lib/native 及 hbase/lib/native中
同时在core-site.xml中,配置lzo压缩
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec
</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
org.apache.hadoop.io.compress.DefaultCodec是hadoop默认的zlib压缩
hbase(main):001:0> create 'testtable', { NAME => 'colfam1',
COMPRESSION => 'lzo' }
3、 对于synappy的支持,需要安装snappy,并且 将 hadoop-snappy-0.0.1-SNAPSHOT.tar.gz 的native中的动态静态链接库文件拷到hadoop以及hbase lib的native下面,将hadoop-snappy-0.0.1-SNAPSHOT.jar考到hadoop 以及hbase 的lib下
在core-site.xml中,配置lzo压缩
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.SnappyCodec
</value>
</property>
hbase(main):001:0> create 'testtable', { NAME => 'colfam1',
COMPRESSION => 'synappy' }
- 关于几种压缩算法以及hadoop和hbase中的压缩配置说明
- 关于几种压缩算法以及hadoop和hbase中的压缩配置说明
- 关于几种压缩算法以及hadoop和hbase中的压缩配置说明
- 关于几种压缩算法以及hadoop和hbase中的压缩配置说明
- 为hadoop和hbase配置压缩算法
- 几种压缩算法
- 几种压缩算法
- Hadoop压缩算法说明与选择
- hbase配置lzo压缩
- HBase配置LZO压缩
- Hadoop压缩算法不支持自定义的压缩和解压接口
- 几种压缩算法原理介绍|压缩算法,原理
- Hadoop压缩-SNAPPY算法
- Hadoop压缩算法snappy
- 开启hadoop和Hbase集群的lzo压缩功能
- 几种压缩算法的压缩和速度比较 LZ4太快了
- Hadoop MapReduce中的压缩
- Hadoop中的压缩Codec
- 无线前端资源管理方案
- loadrunner 获取当前系统时间
- vim配置
- Scala
- Shell十三问之二:shell prompt(PS1) 与Carriage Return(CR) 的关系
- 关于几种压缩算法以及hadoop和hbase中的压缩配置说明
- android多媒体本地播放流程video playback--base on jellybean (四)
- Shell十三问之三:别人echo、你也echo ,是问echo知多少
- What are those little overlay icons: Windows 7 edition 图标加锁
- 资源未释放引起的内存漏洞模拟
- android 多媒体文件之mp4分析---base on jellybean(五)
- android 多媒体文件之mp4分析(续)---base on jellybean(六)
- 在 SVG 中添加交互性
- Apache的安装与配置