《HBase权威指南》读书笔记 第八章:架构,Compaction合并
来源:互联网 发布:无锡网络教育学历 编辑:程序博客网 时间:2024/04/27 21:28
compaction合并操作
compaction操作将小文件合并成大文件,加快查询速度,减少文件数量,减少资源占用。compaction分为两种:
- minor compaction:将一个region中一部分小文件合并到一个新的文件中
- major compaction:将一个region中所有文件都合并到一个文件中。在这个过程中剔除已删除的数据、剔除多于的多版本数据。
HBase会在以下几种情况下检查是否进行合并:
- 当memstore刷写到磁盘时
- 当检查线程定时检查时。检查线程的频率由参数
hbase.server.thread.wakefrequency
和hbase.server.thread.wakefrequency.multiplier
控制。 - shell中执行
compaction
或者major_compaction
命令时
当检查到需要合并时,HBase根据以下配置项判断是否需要进行major合并:
hbase.hregion.majorcompaction
:默认是24小时hbase.hregion.majorcompaction.jitter
:抖动,默认是20%
以上两个参数意味着major合并周期为随机取19.2小时~28.8小时之间的数值。当major合并周期还未到达时,执行minor合并。
minor合并根据以下参数选择要合并的文件,并判断是否达到合并阈值:
hbase.hstore.compaction.min
:最少合并的文件数量,默认是3,表示最少合并3个文件hbase.hstore.compaction.max
:最多合并的文件数量,默认是10,表示最多合并10个文件。如果一次合并的文件过多,可能会导致minor合并速度变慢hbase.hstore.compaction.min.size
:需要合并的文件大小总和如果达不到这个值就不进行合并。默认是memstore刷写阈值。hbase.hstore.compaction.max.size
:文件大小超过这个值的将会被排除在外。默认是Long.MAX_VALUE
表示没有限制。
阅读全文
0 0
- 《HBase权威指南》读书笔记 第八章:架构,Compaction合并
- 《HBase权威指南》读书笔记8:第八章 架构
- 《HBase权威指南》读书笔记 第八章:架构,B+树
- 《HBase权威指南》读书笔记 第八章:架构,LSM树
- 《HBase权威指南》读书笔记 第八章:架构,存储
- 《HBase权威指南》读书笔记 第八章:架构,region拆分
- 《HBase权威指南》读书笔记 第八章:架构,HFile格式
- hbase权威指南: store file合并(compaction)
- hbase权威指南: store file合并(compaction)
- hbase权威指南: store file合并(compaction)
- 《HBase权威指南》读书笔记 第八章:架构,WAL预写日志
- 《HBase权威指南》读书笔记 第八章:架构:读取数据、region生命周期、ZK数据结构
- 《HBase权威指南》读书笔记:第二章 安装
- 《HBase权威指南》读书笔记----简介
- 《HBase权威指南》读书笔记1
- 《HBase权威指南》读书笔记2
- 《HBase权威指南》读书笔记3
- 《HBase权威指南》读书笔记4
- SQL 之 sql的解析执行顺序问题
- 设计模式-工厂模式
- HDFS文件创建和存储
- 用tushare获取股票历史数据
- leetcode 116. Populating Next Right Pointers in Each Node
- 《HBase权威指南》读书笔记 第八章:架构,Compaction合并
- bootstrap 时间控件及时间转换
- ASCII码表_全_完整版
- bzoj4240: 有趣的家庭菜园
- python基础第五篇
- 2017京东校招笔试编程题--python
- 恩智浦杯(飞思卡尔)全国大学生智能车竞赛摄像头简单的图像失真矫正技术原理与实现(透视变换)
- c++初始化列表
- [LeetCode] Binary Tree Postorder题解