hbase简单介绍

hbase简单介绍

一、 概念

hbase是高可靠、面向列的、可伸缩的、分布式的数据库，适用于非结构化的数据存储数据库；

运行在hadoop之上，受zookeeper管理。

 

二、数据模型

 

Row Key

Timestamp

Column Family

　　

URI

Parser

　　

　　

r1

t3

url=http://

title=

t2

host=com

　　

　　

t1

　　

　　

　　

r2

t5

url=http://

content=每天…

t4

host=com

　　

　　

 

Row key:行键，Table的主键，Table中的记录默认按照Row Key的字典序升序排序；

最大不超过64k,一般越短越好。

 

Timestamp:时间戳，每次数据操作对应的时间戳，可以看作是数据的version number;

 

Column Family：列簇，Table在水平方向有一个或者多个Column Family组成，一个Column Family中可以由任意多个Column组成，即Column Family支持动态扩展，无需预先定义Column的数量以及类型，所有Column均以二进制格式存储，用户需要自行进行类型转换。

但是，目前hbase对列簇超过2-3列支持不是太好，所以设计中最多不超过3列。列簇越少越好，设计表时预习设计好一个列簇。

 

 Region：当Table随着记录数不断增加而变大后，会逐渐分裂成多份splits，成为regions，一个region由[startkey,endkey)表示，不同的region会被Master分配给相应RegionServer进行管理。Region相当于文件系统中划分的block块。

 

三、系统架构

 

Client:客户端与HMaster通信负责管理hbase的regionServer服务运行、数据迁移、资源划分。直接与regionServer通信负责数据的读写。

HRegionServer:主要负责响应用户I/O请求，向HDFS文件系统中读写数据，供region运行的服务器；内部管理了一系列HRegion对象。

HRegion：对应table中的一个region，一个table可以拆分为多个region.

HStore：包含两个部分，一个是MemStore,读写数据的内存缓冲区，当MemStore满值后会将内容向storeFile写入。storeFile基于HFile实现，是hdfs的二进制存储文件。当storeFile到了一定的阈值后会触发文件的合并。合并的过程中对列的版本数据进行合并和更新，合并包括大文件合并和小文件合并，控制好合并的minor和major阈值对性能提升很重要。当storefile合并大小到达一定阈值会触发split将region拆分。Hlog文件是在向MemStore写文件的同时要写入，避免宕机情况出现导致memstore中的数据丢失。

四、Mapreduce支持

 

 

Mepreduce不仅支持从hdfs中读写数据，还支持向hbase中读写数据。Mapreduce从hbase读写数据时Map端业务逻辑类不再继承Mapper,而是继承TableMapper；reduce端继承TableReduce;相关Job类中mapper和reduce的设置方式也有改变。

 

Map端从hbase的table中的各个region读数据，根据不同的key将读取的数据划分到各个分组中，然后分组数据向reduce端混排合并，合并后相同的key交给同一个reduce处理，然后将处理结果输出到hbase而不是hdfs中。