学习Hadoop第二十七课(HBase理论一)
来源:互联网 发布:mac ai2017中文版 编辑:程序博客网 时间:2024/05/23 23:39
上节课我们一起学习了HBase集群的搭建,这节课我们一起来简单学习一下HBase的理论知识。
我们首先来看一下下面这张图,HBase存储数据也是存储到表中(这点和我们的关系型数据库是类似的),一个row key保存一行内容,与关系型数据库不一样的地方是,HBase数据库的表中引入了列族的概念,一个列族可以包含0到多个列,列族和列名结合组成一个cell,cell中才是我们存放的数据。从下图中可以看到一个Table包含多个Region,分布式存储和负载均衡最小的存储单元是Region,这也就意味着一台设备上只能有一个Region,一张表对应多个Region,也就意味着这张表的数据是存储在多台设备上的。那么为什么我们不把数据全都存储到一台设备上呢?其实原因很简单,假如我们的数据有好几十亿条,我们把这些数据都存放到一台设备上,这将对这台设备造成致命的压力,就是我们去查找某些数据也需要到这一台设备上进行查询,读取的压力也将非常大,这是我们无法接受的。如果我们把这几十亿条数据分别存储在多台设备上,那么无论是写操作还是读操作的压力都将大大降低,效率也成多少倍的提高,所以要用到Region这个东西。
那么Region存储在什么地方呢?它存储在HRegionServer内,HRegionServer是HBase的被管理进程,HBase的管理进程是HMaster,作为一个HBase集群的话,HMaster会有多个,当然HRegionServer也会有多个,这样即使其中的一台设备宕掉了,整个集群依然可以正常工作,那么负责中间协调工作的是谁呢?其实是我们的Zookeeper,Zookeepr保证了我们的HBase集群在同一时间只有一个活跃的HMaster。负责在活跃的HMaster宕掉之后让另一设备上的HMaster自动切换成活跃状态,从而对外提供稳定的服务。既然名叫RegionServer,顾名思义,它就是用来存储Region的。我们可以认为Region是存储在内存当中的。HRegionServer每隔一段时间会将Region中的数据写入到HDFS系统。
我们上面说了,通过HBase集群,我们可以快速的查找某些数据,为什么可以做到这一点呢?原因是我们在创建数据的时候就指定了Row key,HBase根据Row key来创建索引,并且还根据Row key的字典顺序分别进行了存储。我们以下图为例,可以看到图左侧是表的Row key的字典顺序,可以看到根据不同的范围把Row key分成了五个部分,每个部分是一个Region,所以可以理解为,一个Region保存了一个Row key范围的数据。右侧有三个HRegionServer。字典顺序从0到2(包括0,不包括2)的数据都存储在rs2(HRegionServer)这台设备上,字典顺序从2到4(包括2,不包括4)存储在rs1(HRegionServer)这台设备上,等等。这样存储的好处是什么呢?我们查询数据的时候根据Row key的字典顺序可以快速定位到数据在哪一台设备上,然后再根据Row key索引快速定位到要查询的数据。HBase还有个非常大的优势是可扩展性非常强,以后如果这张表需要增加字段将会非常简单,因为HBase是允许动态添加列的。还有就是我们不需要用多么昂贵的服务器,用普通的PC服务器就可以,无非多用几台设备罢了,用普通的PC照样存储非常庞大的数据。
说完了上面的内容,我们再来看一张HBase整体的架构图,可以发现最顶层是Hadoop的HDFS,说明HBase的数据最终还是存放在了HDFS当中。图的最上方有Client、HMaster、Zookeeper中间是HRegionServer,很明显,Client、HMaster、HRegionServer是通过Zookeeper来协调的。HRegionServer维护着Region,Region里面保存着数据。一张表有可能有一个到多个Region。我们可以看到,一个Region包括HLog和Store,Store当中包括StoreFile和MemStore,我们前面认为Region存放的数据都在缓存中不太准确,有一部分数据会被写到StoreFile当中,然后将StoreFile当中的数据通过DFS Client(操作HDFS的接口)写到HDFS系统当中。我们创建表的时候可以指定一下列族的VERSIONS版本数量,假如我们指定的数量是3,这意味着这张表只会保存三个版本的数据,当我们向同一个Row key插入第四条记录时,最先插入的数据便会被加上删除符号并保存到MemStore当中,这时我们还是可以查询到被标记为删除的数据的,但是一旦MemStore的数据被清空,我们将查询不到被标记为删除的数据了。
之所以把数据放到HDFS当中就是为了数据的可靠性,即使某台设备宕掉了,StoreFile中的数据消失了,也无所谓,我们可以从HDFS系统将数据再还原回来。
当然,这只是说了个皮毛而已,大家想深入学习HBase的话,建议多看看书。本小节我们便一起学习到这了。
- 学习Hadoop第二十七课(HBase理论一)
- 学习Hadoop第二十四课(HBase 简单入门)
- 学习Hadoop第二十六课(HBase集群搭建)
- HBase总结(十七)Ganglia监控hadoop、hbase集群
- 大数据学习笔记之二十七 Hadoop的HBase
- 学习Hadoop第二十五课(单节点HBase建表、插入数据及查询)
- 学习Hadoop第二十八课(java通过调用接口来操作HBase)
- 学习淘淘商城第二十七课(内容管理)
- Hadoop学习笔记(一)HBase脚本分析(一)start-hbase.sh
- 步步为营(十七)动态规划(一)理论初探
- 学习Hadoop第二十九课(利用Java对HBase表进行增、删、改、查操作)
- Hadoop学习笔记(一)HBase脚本分析(二)hbase-daemon.sh
- Hadoop学习笔记(一)HBase脚本分析(三)hbase
- Hadoop学习笔记(一)HBase脚本分析(二)hbase-daemon.sh
- 学习Hadoop第二课(安装JDK)
- HBase学习(一)
- 【Hadoop系列第九章】(一)理论:HBase应用场景、原理与基本架构
- Hadoop HDFS 学习(1)理论
- MySQL 如何查看服务器配置信息
- 求1000以内的完数
- java基础 基本数据类型
- Shadow Maping
- Lua语法小贴士(九)table库
- 学习Hadoop第二十七课(HBase理论一)
- STM32学习笔记之对PWM频率和占空比都可调测试
- SqlServer数据库分页
- 格式符含义
- 如何快速扩展MySQL数据量?
- Cyclone V SDI II 仿真第一步
- JackSon学习笔记(一)
- 配置树莓派3无线网
- You need to use a Theme.AppCompat theme (or descendant) with this activity.