hbase测试压缩效果报告
来源:互联网 发布:网络流行用语 编辑:程序博客网 时间:2024/06/05 08:50
测试环境:
Linux master 2.6.18-348.12.1.el5 #1 SMP Wed Jul 10 05:28:41 EDT 2013 x86_64 x86_64 x86_64 GNU/Linux
hadoop-1.0.3
hbase-0.94.2
Oracle JRockit(R) (build R28.1.5-20-146757-1.6.0_29-20111004-1750-linux-x86_64, compiled mode)
测试需求,就是将hbase里的表,按照不同的压缩方式(因不支持bz,所以没有bz的测试结果),进行保存,以下是对比结果:
压缩率:
总得来说,gz效果最好。snappy和lzo都不太适合在hbase里用压缩
后面进行了一个比较特殊的测试。就是原始数据有43个columns,如果了解其存储原理的话,那么占用的空间是很大的。
我采用了合并这个43个column变成一个(注:这里考虑合并是因为有业务的需要)
根据以上的测试结果,我将测试两种场景:
1、原始数据大小与合并column后数据量的大小
2、原始数据大小与合并column并增加压缩的大小(采用gz压缩方式)
压缩率:
通过一系列的测试发现,采用合并字段并压缩,这样达到的压缩效率是非常高的。而且也非常适合我们的业务使用场景。
所以最终的方案我们也采用了合并字段并压缩的方式,来对hbase进行相关优化处理。
此测试主要集中在如何节约磁盘空间考虑,并没有对读/写进行测试。
- hbase测试压缩效果报告
- Hbase设置Snappy压缩测试
- HBase压缩
- hbase开启lzo压缩
- hbase配置lzo压缩
- hbase分区列压缩
- HBase开启Snappy压缩
- HBase配置LZO压缩
- Hbase 压缩表
- HBase开启Snappy压缩
- Hbase分析报告(转载)
- Hbase分析报告
- Hbase分析报告
- Hbase分析报告
- Hbase分析报告
- Hbase分析报告
- 测试效果
- hbase 简单命令测试
- 用C语言描述女人
- 网络协议学习方法和工具
- 读取文件并追加
- Android 滑动效果入门篇(一)—— ViewFlipper
- Android窗口管理服务WindowManagerService的简要介绍
- hbase测试压缩效果报告
- JDK配置环境变量
- 注解例子
- 高级会计师资格考试成绩合格证在全国范围内几年有效
- 安装Ecshop首页出现报错常见的问题解决办法
- 择夫
- cin,cout的加速
- VS2010 LNK1123: 转换到 COFF 期间失败: 文件无效或损坏
- oracle 审计