学习总结二十三:深入学习hbase数据库
来源:互联网 发布:海城市教育局网通知 编辑:程序博客网 时间:2024/06/05 12:40
1.hbase工作机制
1.1写路径 新增和修改流程是一样的,都要创建put象,定位到坐标。写入操作时,默认方式是写到两个地方,一个是Hlog(预写式日志),另外一个是MemStore(内存缓冲区),当这两个地方确认时,才真正认为写操作完成。Hbase数据在写入硬盘之前会先把数据存放到MemStore累积,当MemStore填满后,其中的数据会刷写到硬盘,生成一个HFile文件,HFile是Hbase的底层存储格式,对应于列簇,一个列簇有多个HFile文件,一个HFile不能存储多个列簇的数据,在集群节点上,每个列簇有一个MemStore。
Hbase集群中每一台机器都有一个WAL,它的作用预防Hbase服务器宕机时,预防MemStore中的数据丢失,Hbase会自动通过内部机制恢复数据。
1.2读路径 Hbase读操作使用了LRU(最近最少使用算法)缓存技术,也叫BlockCache技术,和MemStore存储在同一个JVM中,撑握BlockCache是优化Hbase的重要部分。block是Hbase从硬盘完成一次读写数据单位。HFile物理存储形式是block序列外加block索引。block默认大小是64M。
2.hbase的region块大小,是由hbase-site.xml文件中的hbase.hregion.max.filesize决定。
MemStore的大小,是由hbase-site.xml文件中的hbase.hregion.memstore.flush决定。
3.hbase两个特殊表-ROOT-和.META.说明
-ROOT-只有一个region块
.META.可以切割多个region块,里面保存了用户表的入口地址
用户访问hbase中某行数据时首先访问zookeeper然后访问-ROO- 然后指向.META.再找到regionserver中的某行数据所在的region块
- 学习总结二十三:深入学习hbase数据库
- Hbase深入学习(二) 安装hbase
- JAVA学习总结二十三
- 学习总结二十一:Hbase集群搭建
- HBase深入学习笔记
- HBase深入学习(2)
- HBase深入学习(1)
- HBase深入学习(2)
- Hbase深入学习
- 学习总结十八:Hbase数据库介绍
- 学习总结十九:Hbase数据库shell操作
- JAVA学习总结十三
- coredata学习总结(十三)
- 数据库学习纪要(二十三):MySQL-3-SELECT
- 汇编--学习笔记(十三)-中断(二)- 自我总结
- Hbase学习二
- Hbase深入学习(一) 什么是hbase
- Hbase深入学习(六) Java操作HBase
- 数据结构--希尔排序
- HDU 3394 Railway 无向图的桥与点-双连通
- 使用一个指针实现双向链表
- Static LED control - CDigiStatic 1.3
- mysql 开启远程访问
- 学习总结二十三:深入学习hbase数据库
- 新热风:美式家具
- 2014工大校赛题目以及解
- C++ 显式转换 。
- 使用Maven进行lib管理带来的问题
- 关于在android 图像开发中使用Skia引擎的注意事项
- Android_WebView_全屏
- 正交矩阵和Gram-Schmidt正交化
- ACE_Reactor::register_handler 调用 WSAEventSelect 系统函数, WSAEventSelect 函数自动把关联的 socket 设置为非阻塞模式。