hbase权威指南: store file合并(compaction)
来源:互联网 发布:Java里show方法怎么用 编辑:程序博客网 时间:2024/05/19 08:42
Hbase为了防止小文件(被刷到磁盘的menstore)过多,以保证保证查询效率,hbase需要在必要的时候将这些小的store file合并成相对较大的store file,这个过程就称之为compaction。在hbase中,主要存在两种类型的compaction:minor compaction和major compaction。
major compaction 的功能是将所有的store file合并成一个,触发major compaction的可能条件有:major_compact 命令、majorCompact() API、region server自动运行(相关参数:hbase.hregion.majoucompaction 默认为24 小时、hbase.hregion.majorcompaction.jetter 默认值为0.2 防止region server 在同一时间进行major compaction)。hbase.hregion.majorcompaction.jetter参数的作用是:对参数hbase.hregion.majoucompaction 规定的值起到浮动的作用,假如两个参数都为默认值24和0,2,那么major compact最终使用的数值为:19.2~28.8 这个范围。
minor compaction的运行机制要复杂一些,它由一下几个参数共同决定:
hbase.hstore.compaction.min :默认值为 3,表示至少需要三个满足条件的store file时,minor compaction才会启动
hbase.hstore.compaction.max 默认值为10,表示一次minor compaction中最多选取10个store file
hbase.hstore.compaction.min.size 表示文件大小小于该值的store file 一定会加入到minor compaction的store file中
hbase.hstore.compaction.max.size 表示文件大小大于该值的store file 一定会被minor compaction排除
hbase.hstore.compaction.ratio 将store file 按照文件年龄排序(older to younger),minor compaction总是从older store file开始选择,如果该文件的size 小于它后面hbase.hstore.compaction.max 个store file size 之和乘以 该ratio,则该store file 也将加入到minor compaction 中。
如果对minor compaction过程还是不了解,可以去看hbase中关于minor compaction 的源码,或者:http://blog.csdn.net/macyang/article/details/6423078
- hbase权威指南: store file合并(compaction)
- hbase权威指南: store file合并(compaction)
- hbase权威指南: store file合并(compaction)
- 《HBase权威指南》读书笔记 第八章:架构,Compaction合并
- Hbase选择Store file做compaction的算法
- HBase Compaction(1)
- HBase Compaction(2)
- HBase Region操作实战分析之Store Compaction
- Hbase 权威指南
- HBase权威指南 翻译
- HBase权威指南中文版
- hadoop 权威指南 HBase
- HBase Compaction
- HBase compaction
- 《HBase权威指南》读书笔记----简介
- 《HBase权威指南》学习总结
- 《HBase权威指南》读书笔记1
- 《HBase权威指南》读书笔记2
- epoll使用详解
- OSI七层网络模型和四层网络模型
- 微信提现(2)----企业付款到零钱
- linux下 /proc 和 /sys 详解
- 混淆遇到无法找到文件aapt_rules.txt
- hbase权威指南: store file合并(compaction)
- tf.concat()
- 调用本机地图
- 面试必备 | 深入解析Java垃圾回收机制
- java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
- SpringCloud(三):服务发现组件Eureka
- 初学acmer--读《算法竞赛经典入门》笔记(七)P48-50
- 上传图片插件之---uploadify
- python中lambda() 匿名函数