Hbase 源码分析之 Regionserver下的 Get 全流程
来源:互联网 发布:医疗软件销售提成 编辑:程序博客网 时间:2024/05/06 15:42
Hbase 源码分析之 Regionserver上的 Get 全流程
当regionserver收到来自客户Hbase 源码分析之 Regionserver上的 Get 全流程
当regionserver收到来自客户端的Get请求时,调用接口
public Result get(byte[] regionName, Get get)
{
...
HRegion region = getRegion(regionName);
return region.get(get, getLockFromId(get.getLockId()));
...
}
我们看HRegion.get接口,其首先会做family检测,保证Get中的family与Table的相符,然后通过RegionScanner.next来返回result
而Scanner是Hbase读流程中的主要类,先做一个大概描述:
从Scanner的scan范围来分有RegionScanner,StoreScanner,MemstoreScanner,HFileScanner;根据名称很好理解他们的作用,而他们之间的关系:RegionScanner由一个或多个StoreScanner组成,StoreScanner由MemstoreScanner和HFileScanner组成;
再看RegionScanner类的构造形成过程:
List<KeyValueScanner> scanners = new ArrayList<KeyValueScanner>();
for (Map.Entry<byte[], NavigableSet<byte[]>> entry :
scan.getFamilyMap().entrySet())
{
Store store = stores.get(entry.getKey());
scanners.add(store.getScanner(scan, entry.getValue()));
}
this.storeHeap = new KeyValueHeap(scanners, comparator);
这段代码为RegionScanner类内部属性storeHeap初始化,其内容就是Region下面所有StoreScanner的和;storeHeap是一个KeyValueHeap,从字面可以理解result就是从中获取的
接着看store.getScanner(scan, entry.getValue())即StoreScanner类的构造形成过程:
一般情况下StoreScanner中添加了HFileScanner和MemStoreScanner;
StoreFileScanner的内部属性包括HFileScanner和Hfile.Reader,在添加前会根据timestamp,columns,bloomfilter过滤掉一部分
Scanner构造完毕以后,当最上层的RegionScanner.next时,首先会先从MemStoreScanner中获取,如果没有或者版本数不足,则再从HfileScanner中获取,而从HfileScanner获取时,先查看是否在blockcache中,如果MISS则再从底层的HDFS中获取block,并根据设置决定是否将Block cache到LruBlockCache中端的Get请求时,调用接口
public Result get(byte[] regionName, Get get)
{
...
HRegion region = getRegion(regionName);
return region.get(get, getLockFromId(get.getLockId()));
...
}
我们看HRegion.get接口,其首先会做family检测,保证Get中的family与Table的相符,然后通过RegionScanner.next来返回result
而Scanner是Hbase读流程中的主要类,先做一个大概描述:
从Scanner的scan范围来分有RegionScanner,StoreScanner,MemstoreScanner,HFileScanner;根据名称很好理解他们的作用,而他们之间的关系:RegionScanner由一个或多个StoreScanner组成,StoreScanner由MemstoreScanner和HFileScanner组成;
再看RegionScanner类的构造形成过程:
List<KeyValueScanner> scanners = new ArrayList<KeyValueScanner>();
for (Map.Entry<byte[], NavigableSet<byte[]>> entry :
scan.getFamilyMap().entrySet())
{
Store store = stores.get(entry.getKey());
scanners.add(store.getScanner(scan, entry.getValue()));
}
this.storeHeap = new KeyValueHeap(scanners, comparator);
这段代码为RegionScanner类内部属性storeHeap初始化,其内容就是Region下面所有StoreScanner的和;storeHeap是一个KeyValueHeap,从字面可以理解result就是从中获取的
接着看store.getScanner(scan, entry.getValue())即StoreScanner类的构造形成过程:
一般情况下StoreScanner中添加了HFileScanner和MemStoreScanner;
StoreFileScanner的内部属性包括HFileScanner和Hfile.Reader,在添加前会根据timestamp,columns,bloomfilter过滤掉一部分
Scanner构造完毕以后,当最上层的RegionScanner.next时,首先会先从MemStoreScanner中获取,如果没有或者版本数不足,则再从HfileScanner中获取,而从HfileScanner获取时,先查看是否在blockcache中,如果MISS则再从底层的HDFS中获取block,并根据设置决定是否将Block cache到LruBlockCache中
当regionserver收到来自客户Hbase 源码分析之 Regionserver上的 Get 全流程
当regionserver收到来自客户端的Get请求时,调用接口
public Result get(byte[] regionName, Get get)
{
...
HRegion region = getRegion(regionName);
return region.get(get, getLockFromId(get.getLockId()));
...
}
我们看HRegion.get接口,其首先会做family检测,保证Get中的family与Table的相符,然后通过RegionScanner.next来返回result
而Scanner是Hbase读流程中的主要类,先做一个大概描述:
从Scanner的scan范围来分有RegionScanner,StoreScanner,MemstoreScanner,HFileScanner;根据名称很好理解他们的作用,而他们之间的关系:RegionScanner由一个或多个StoreScanner组成,StoreScanner由MemstoreScanner和HFileScanner组成;
再看RegionScanner类的构造形成过程:
List<KeyValueScanner> scanners = new ArrayList<KeyValueScanner>();
for (Map.Entry<byte[], NavigableSet<byte[]>> entry :
scan.getFamilyMap().entrySet())
{
Store store = stores.get(entry.getKey());
scanners.add(store.getScanner(scan, entry.getValue()));
}
this.storeHeap = new KeyValueHeap(scanners, comparator);
这段代码为RegionScanner类内部属性storeHeap初始化,其内容就是Region下面所有StoreScanner的和;storeHeap是一个KeyValueHeap,从字面可以理解result就是从中获取的
接着看store.getScanner(scan, entry.getValue())即StoreScanner类的构造形成过程:
//StoreScanner is a scanner for both the memstore and the HStore files List<KeyValueScanner> scanners = new LinkedList<KeyValueScanner>(); // First the store file scanners if (memOnly == false) { List<StoreFileScanner> sfScanners = StoreFileScanner .getScannersForStoreFiles(store.getStorefiles(), cacheBlocks, isGet); // include only those scan files which pass all filters for (StoreFileScanner sfs : sfScanners) { if (sfs.shouldSeek(scan, columns)) { scanners.add(sfs); } } } // Then the memstore scanners if ((filesOnly == false) && (this.store.memstore.shouldSeek(scan))) { scanners.addAll(this.store.memstore.getScanners()); }return scanners;
一般情况下StoreScanner中添加了HFileScanner和MemStoreScanner;
StoreFileScanner的内部属性包括HFileScanner和Hfile.Reader,在添加前会根据timestamp,columns,bloomfilter过滤掉一部分
Scanner构造完毕以后,当最上层的RegionScanner.next时,首先会先从MemStoreScanner中获取,如果没有或者版本数不足,则再从HfileScanner中获取,而从HfileScanner获取时,先查看是否在blockcache中,如果MISS则再从底层的HDFS中获取block,并根据设置决定是否将Block cache到LruBlockCache中端的Get请求时,调用接口
public Result get(byte[] regionName, Get get)
{
...
HRegion region = getRegion(regionName);
return region.get(get, getLockFromId(get.getLockId()));
...
}
我们看HRegion.get接口,其首先会做family检测,保证Get中的family与Table的相符,然后通过RegionScanner.next来返回result
而Scanner是Hbase读流程中的主要类,先做一个大概描述:
从Scanner的scan范围来分有RegionScanner,StoreScanner,MemstoreScanner,HFileScanner;根据名称很好理解他们的作用,而他们之间的关系:RegionScanner由一个或多个StoreScanner组成,StoreScanner由MemstoreScanner和HFileScanner组成;
再看RegionScanner类的构造形成过程:
List<KeyValueScanner> scanners = new ArrayList<KeyValueScanner>();
for (Map.Entry<byte[], NavigableSet<byte[]>> entry :
scan.getFamilyMap().entrySet())
{
Store store = stores.get(entry.getKey());
scanners.add(store.getScanner(scan, entry.getValue()));
}
this.storeHeap = new KeyValueHeap(scanners, comparator);
这段代码为RegionScanner类内部属性storeHeap初始化,其内容就是Region下面所有StoreScanner的和;storeHeap是一个KeyValueHeap,从字面可以理解result就是从中获取的
接着看store.getScanner(scan, entry.getValue())即StoreScanner类的构造形成过程:
//StoreScanner is a scanner for both the memstore and the HStore files List<KeyValueScanner> scanners = new LinkedList<KeyValueScanner>(); // First the store file scanners if (memOnly == false) { List<StoreFileScanner> sfScanners = StoreFileScanner .getScannersForStoreFiles(store.getStorefiles(), cacheBlocks, isGet); // include only those scan files which pass all filters for (StoreFileScanner sfs : sfScanners) { if (sfs.shouldSeek(scan, columns)) { scanners.add(sfs); } } } // Then the memstore scanners if ((filesOnly == false) && (this.store.memstore.shouldSeek(scan))) { scanners.addAll(this.store.memstore.getScanners()); }return scanners;
一般情况下StoreScanner中添加了HFileScanner和MemStoreScanner;
StoreFileScanner的内部属性包括HFileScanner和Hfile.Reader,在添加前会根据timestamp,columns,bloomfilter过滤掉一部分
Scanner构造完毕以后,当最上层的RegionScanner.next时,首先会先从MemStoreScanner中获取,如果没有或者版本数不足,则再从HfileScanner中获取,而从HfileScanner获取时,先查看是否在blockcache中,如果MISS则再从底层的HDFS中获取block,并根据设置决定是否将Block cache到LruBlockCache中
- Hbase 源码分析之 Regionserver下的 Get 全流程
- Hbase 源码分析之 Regionserver上的 Get 全流程
- Hbase 源码分析6 -- Regionserver上的 Get 全流程
- HBase源码分析之regionserver写入流程分析
- HBase源码分析之regionserver读取流程分析
- HBase源码分析之org.apache.hadoop.hbase.regionserver包
- HBase深入分析之RegionServer
- HBase深入分析之RegionServer
- HBase深入分析之RegionServer
- HBase深入分析之RegionServer
- HBase深入分析之RegionServer
- HBase 0.1.0 Get流程源码分析
- Hbase源码@RegionServer启动
- Hbase 源码分析4 - Get 流程及rpc原理
- Hbase 源码分析四 - Get 流程及rpc原理
- Hbase-0.98.6源码分析--RegionServer宕机处理
- HBase的put流程源码分析
- HBase的put流程源码分析
- OJ青蛙的约会
- 让Editplus不生成的.bak文件
- 事务的原子性,一致性,隔离性,持久性
- SQL时间格式转化 及其 时间函数
- 在Android 4.2中打开"开发者选项"
- Hbase 源码分析之 Regionserver下的 Get 全流程
- C语言版STL
- 博约推荐的Linux经典书籍
- centos6系统中安装firefox浏览器中安装flashplay插件
- Android系统Binder机制之一(Service Manager篇)
- 斗地主合并图片
- 数学之路(2)-数据分析-R基础(7)
- objective-c 中随机数的用法 (3种:arc4random() 、random()、CCRANDOM_0_1() )
- Android系统Binder机制之二(服务代理对象 上篇)