hbase压缩算法-Snappy算法安装
来源:互联网 发布:js throw exception 编辑:程序博客网 时间:2024/06/05 10:06
Compression就是在用CPU换IO吞吐量/磁盘空间,如果没有什么特殊原因推荐针对Column Family设置compression,下面主要有三种算法: GZIP, LZO, Snappy,作者推荐使用Snappy,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
Comparison between compression algorithms
1. 下载snappy代码,编译并安装动态连接库到每台datanode和regionserver上
Build/install Snappy (http://code.google.com/p/snappy/)
./configure
make && make install
2. Build Hadoop Snappy (http://code.google.com/p/hadoop-snappy/)
mvn package
3. 在hdfs中安装snappy
a. 解压 hadoop-snappy-0.0.1-SNAPSHOT.tar.gz 将其中的native中的动态静态链接库文件拷到hadoop lib的native下面,将hadoop-snappy-0.0.1-SNAPSHOT.jar考到hadoop lib下,此过程类似安装lzo.
b. 将一下改动加入到hadoop的core-site.xml中:
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
c. 重启动 Hadoop.
4. 将3.a 中的lib拷贝到hbase 的对应lib 和 lib/native 之中,并启动hbase
测试安装是否成功:
1 . 使用 CompressionTest 来查看snappy是否 enabled 并且能成功 loaded:
$ hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://host/path/to/hbase snappy
2 . 创建一章以snappy方式压缩的表来检查能否成功:
$ hbase shell
> create 't1', { NAME => 'cf1', COMPRESSION => 'snappy' }
> describe 't1'
在"describe" 命令输出中, 需要确认 "COMPRESSION => 'snappy'"
参考链接:
https://ccp.cloudera.com/display/CDHDOC/Snappy+Installation
http://blog.csdn.net/jingling_zy/article/details/7258014
http://shitouer.cn/2012/07/hadoop-snappy-introduction-and-install/
- hbase压缩算法-Snappy算法安装
- hbase压缩算法-Snappy算法安装
- Hadoop压缩-SNAPPY算法
- Hadoop压缩算法snappy
- Hadoop Snappy压缩算法简介
- cloudera中hbase使用Snappy算法安装及设置
- hadoop,hbase,hive 安装snappy压缩
- HBase开启Snappy压缩
- HBase开启Snappy压缩
- GZIP、LZO、Zippy/Snappy常用压缩算法
- Hbase设置Snappy压缩测试
- 几款主流的压缩算法对比Zlib,snappy,lz4
- GZIP、LZO、Zippy/Snappy压缩算法应用场景小结
- GZIP、LZO、Zippy Snappy压缩算法应用场景小结
- Hadoop/Hbase的Snappy安装
- Hbase增加Snappy压缩格式的调研
- 【Hadoop/Hbase】centos上安装并设置Snappy/LZO压缩方式
- 安装hadoop-2.6.5,zookeeper-3.4.9,hbase-1.2.4,sqoop-1.99.7,snappy压缩配置
- 手把手教你在ubuntu下创建桌面快捷方式
- 数字签名和数字信封的区别
- 拉格朗日对偶性
- W7x64下Mysql5.7.11配置
- IT 自己喜欢的学习网站
- hbase压缩算法-Snappy算法安装
- 冒泡排序的简单实现
- vector
- 不使用第三个变量实现A和B的值交换
- C# 静态类和静态成员
- 看别人的世界,品自己的人生
- 机器学习中的范数规则化
- CryEngine 代码公开了
- 关于js的几个特点