hbase

数据字典用来存储了系统的元数据。HBase的元数据包括：用户表的定义、表的切分方案、分片的分布情况(即分片分布在哪个regionserver上)、分片对应的数据文件和日志文件。其中，分片和数据文件的映射关系是通过目录映射实现的，即不同的分片的数据文件存储在不同的目录中，其中目录的名称是分片的名称。【对比：在Hypertable中分片与数据文件的映射关系记录在表中】

如图3-13所示。HBase使用表-ROOT-和表.META存储元数据【Oracle也用表存储元数据】。和普通的表一样，这两张表对应的分片分布在RegionServer上的。.META.存储了所有用户表的元数据库，可以被分裂，其元数据存储在表-ROOT-中。-ROOT-有且只有一个分片，不能被分裂。ZooKeeper的节点ZK/hbase/root-region-server存储了加载-ROOT-分片的RegionServer的地址信息，是整个系统的入口。

注：在本文描述的HBase0.90.0中，.META.还不支持分裂，不过最新版本已经支持分裂.META.了。

图3-13 定位分片的层次

1 表.META.

表.META.的定义脚本如下：

create '.META.', {NAME => 'info', VERSIONS => 10, COMPRESSION => 'none', IN_MEMORY => true, BLOCKCACHE => true, BLOCKSIZE =>8096,TTL => 2147483647, BLOOMFILTER => 'NONE', REPLICATION_SCOPE => 0 }

family 

qualifer 

描述

 

 

 

info

regioninfo

分片的属性信息，包括startkey，endkey，对应表的定义等

server

加载本分片的RS地址信息

serverstartcode

加载本分片的RS的启动时间，用于MasterServer区分RS是否重启

splitA

子分片A的regioninfo

splitB 

子分片B的regioninfo

表3-1 .META.的定义

.META.的rowKey是分片的名称。regionname的格式如表3-2.

分片类型

分片名称的格式

-ROOT- 

tablename+','+startkey+','+regionid

规定-ROOT-分片的regionid为0，所以名称为： "-ROOT-,,0"

.META. 

tablename+','+startkey+','+regionid

0.90.3版本不支持.META.分裂，规定.META.分片的regionid为1所以名称为： ".META.,,1"

普通分片

tablename+','+startkey+','+regionid+'.'+md5+'.'其中md5是tablename+','+startkey+','+regionid的md5码

表3-2 分片名称的格式

分片名称中存在regionid的原因？

父分片分裂后，由于垃圾回收机制的需要，父分片的元数据不能立即在.META.得到删除，所以父分片和子分片的元数据会同时出现在.META.中。但是第一个子分片与父分片的tablename和startkey都一样， tablename+startkey无法唯一标识一个分片，所以在分片名称的尾部增加了一个regionid，从而使得分片名称可以唯一标记一个分片。regionid实际是分片的生成时间，子分片的regionid一定要比父分片的regionid要大。

 

regioninfo的定义参见下图。

图3-14 序列化的regioninfo

 

字段

描述

version 

版本号。为0

endkey 

 

offLine 

用于分裂。true表示已经closed，但是还不能删除，因为其数据文件还在被子分片使用

regionId 

分片创建当前时间

regionName 

见表3-2

split 

true：本分片已经被split。

startKey

 

tableDesc 

见表3-4

hashCode 

前面所有字段的hash值

表3-3 regioninfo的各个字段的定义

 

字段

描述

version 

5 

name 

表名

isRoot 

是否是表-ROOT- ，冗余信息?

isMeta 

是否是表.META. ，冗余信息?

tableAttrNum 

字段tableAttrList中表属性的个数

tableAttrList 

见表3-5

familyListNum 

列族的数量

familyList 

见表3-6

表3-4 tableDesc的定义

 

名称

描述

默认值

FAMILIES

未使用？

 

IS_ROOT

是否是表"-ROOT-"

 

IS_META

是否是表".META."

 

READONLY

表的状态

false

DEFERRED_LOG_FLUSH

若为true。写数据时，无需确认WAL是否写入磁盘，即可返回。以数据的持久性交换写性能。

false

MAX_FILESIZE

分片所有数据文件的总大小达到这个阀值后，需要分裂分片。单位是字节。

256M 

MEMSTORE_FLUSHSIZE

当分片的所有MemStore的总大小到达这个阀值后，需要把MemStore中的数据写入磁盘数据文件。单位是字节。

64M 

表3-5 tableAttrList

 

名称

描述

默认值

NAME 

列族名称

无

VERSIONS

最大版本数

3 

TTL

time to live 

Integer.MAX_VALUE，表示永久有效

IN_MEMORY

是否常驻内存

false 

COMPRESSION

列族的压缩算法

包括 "lzo" "gz" "none"

"none"

COMPRESSION_COMPACT

major时的压缩算法

同COMPRESSION

BLOOMFILTER

"NONE" "ROW" "ROWCOL"

"NONE"

REPLICATION_SCOPE

多个数据中心备份数据的参数。【待研究】

0 

BLOCKSIZE

StoreFile的 data block大小，

单位字节

64*1024 

BLOCKCACHE

是否缓存其block

true 

表3-6 familyAttrList

2 表-ROOT-

表-ROOT-存储了表的.META.的元数据，并且不可以分裂。创建-ROOT-表的脚本如下：

create '-ROOT-', {NAME => 'info', VERSIONS => 10, COMPRESSION => 'none', IN_MEMORY => true, BLOCKCACHE => true, BLOCKSIZE =>8096,TTL => 2147483647, BLOOMFILTER => 'NONE', REPLICATION_SCOPE => 0 }

3 系统入口

从某种程度上来说，zookeeper是一个小型文件系统，可以用来存储及少量的数据。ZK/hbase/root-region-server是zookeeper中的一个文件，用来存储了加载-ROOT-分片的RegionServer的地址信息(主机名+port)，是HBase集群的总入口。