总结一下HBase各种级别的锁以及对读写的阻塞
来源:互联网 发布:南极洲有多大 知乎 编辑:程序博客网 时间:2024/06/06 05:45
为了保证并发操作时数据的一致性和性能,HBase中应用了各种各样高效的可重入锁,包括行级别的rowlock、mvcc,region级别的读写锁,store级别的读写锁,memstore级别的读写锁等等。
1、 行级别的锁RowLock
HBase中为了解决行级别在并发操作中的一致性问题,采用了Rowlock机制。保证只有同一个线程同时对该行做操作。当然rowlock有lease租约的概念,超过期限,自动释放该行锁
2、 MVCC
处于并发性能的考虑,Rowlock只在write数据时采用,对于读写并发操作,HBase采用了MVCC解决方案。
基本原理是writer操作会经过WAL、Memstore等一系列过程,首先在Rowlock操作后,立即分配一个writer number,每个cf column cell在store中都会带上这个writer number,在写操作结束即release lock前,会标记writer number已经结束;每个读操作在开始时(readpoint)会分配最大的处于结束的writer number,即最新的处于结束的writer number(memstore中的值可用存在写操作未结束的,这些值不可以读,所以在flush cache的时候必须等待memstore中所有的值都是写结束的)。详细的MVCC分析可以参见以前写的blog:http://blog.csdn.net/yangbutao/article/details/8998800
3、 Region级别的锁
在做更新操作时,需要判断资源是否满足要求,如果到达临界点,则申请进行flush操作,等待直到资源满足要求(参见Region中的checkResource)
Region update更新锁(updatesLock),在internalFlushCache时加写锁,导致在做Put、delete、increment操作时候阻塞(这些操作加的是读锁)。
Region close保护锁(lock),在Region close或者split操作的时(加写锁),阻塞对region的其他操作(加读锁),比如compact、flush、scan和其他写操作。
4、 Store级别的锁
flush过程包括,
a 、prepare(基于memstore做snapshot)
b、flushcache(基于snapshot生成临时文件)
c、commit(确认flush操作完成,rename临时文件为正式文件名称,清除mem中的snapshot)
其中在flush过程的commit阶段,compact过程的completeCompaction阶段(rename临时compact文件名、清理旧的文件),close store(关闭store),bulkLoadHFile,会阻塞对store的写操作。
5、 MemStore级别的锁
对Store的写操作会调用Memstore的相关操作,在对memstore做snapshot以及清除snapshot的时候会阻塞其他操作(如add、delete、getNextRow)。
- 总结一下HBase各种级别的锁以及对读写的阻塞
- 总结一下HBase各种级别的锁以及对读写的阻塞
- 总结一下HBase各种级别的锁以及对读写的阻塞
- 总结一下HBase各种级别的锁以及对读写的阻塞
- 总结一下HBase各种级别的锁以及对读写的阻塞
- Hbase各级别的锁以及读写阻塞
- HBase Flush操作流程以及对读写服务的影响
- HBase Flush操作流程以及对读写服务的影响
- hbase各个组件的作用以及hbase的读写流程
- 对 java 同步锁 以及 级别升级的 理解
- JS以及CSS对页面的阻塞
- JS以及CSS对页面的阻塞
- HBase数据的读写流程总结
- 总结一下遇到的各种核函数~
- 总结一下模拟的各种库函数
- 总结一下遇到的各种核函数~
- 总结一下遇到的各种核函数
- 对sizeof的各种总结
- 分治法-二分检索
- android ant编译, 找不到符号: 方法 setRoundingMode(java.math.RoundingMode) ,编译失败
- 笔记-------模态窗口提交的时候会打开新窗口问题的解决方法
- 用非管理员权限启动主程序,并用管理员权限启动子程序,导致WM_COPYDATA消息发送失败的问题
- 编译android2.3源码过程中的错误
- 总结一下HBase各种级别的锁以及对读写的阻塞
- Android控件基本属性介绍
- android上传图片
- 内部类经验总结
- 从代码来看block
- 用vs2008做python的C/C++扩展
- 【机房收费系统】之 简单工厂就是三层(贴纸版)
- linux常用的服务--SSH以及ssh公钥认证
- android应用开发之AsyncTask