hbase 快速入门之---HFILE数据格式
来源:互联网 发布:java 获取文件路径was 编辑:程序博客网 时间:2024/06/16 18:07
ØHFile文件不定长,长度固定的块只有两个:Trailer和FileInfo。
ØHFile写到硬盘时,Trailer被写到最后。 Trailer中指针指向其他数据块的起始点。
ØFile Info中记录了文件的一些Meta信息,例如:AVG_KEY_LEN, AVG_VALUE_LEN, LAST_KEY, COMPARATOR, MAX_SEQ_ID_KEY等
ØData Index和Meta Index块记录了每个Data块和Meta块的起始点
ØData Block是HBase I/O的基本单元,为了提高效率,HRegionServer中有基于LRU的Block Cache机制
Ø每个Data Block的大小可以在创建一个Table的时候通过参数指定,大号的Block有利于顺序Scan,小号Block利于随机查询
Ø每个Data Block除了开头的Magic以外就是一个个KeyValue对拼接而成, Magic内容就是一些随机数字,目的是防止数据损坏
HFile里面的每个KeyValue对就是一个简单的byte数组。这个byte数组里面包含了很多项,并且有固定的结构。
ØKeyLength和ValueLength:两个固定的长度,分别代表Key和Value的长度
ØKey部分
Row Length是固定长度的数值,表示RowKey的长度,Row就是RowKey
Column Family Length是固定长度的数值,表示Family的长度,接着就是Column Family,再接着是Qualifier,然后是两个固定长度的数值,表示Time Stamp和Key Type(Put/Delete)Value部分没有这么复杂的结构,就是纯粹的二进制数据
HFile 中的数据块大小默认为 64KB。如果访问 HBase 数据库的场景多为有序的访问,那么建议将该值设置的大一些。如果场景多为随机访问,那么建议将该值设置的小一些。一般情况下,通过调整该值可以提高 HBase 的性能。
阅读全文
0 0
- hbase 快速入门之---HFILE数据格式
- HBase之HFile解析
- HBase之HFile解析
- HBase之HFile详解
- HBase之HFile索引机制
- Hadoop之HBase快速入门
- hbase快速入门之hTable
- hbase快速入门之---简介
- hbase快速入门之---权限
- HBase之三【HBase基础】HFile存储格式
- Spark RDD生成HFile快速导入数据到HBase
- hbase快速入门之---逻辑视图
- hbase快速入门之---物理存储
- hbase快速入门之---系统架构
- hbase快速入门之---region定位过程
- hbase快速入门之---参数调优
- HBase I/O: HFile
- hfile到hbase
- 第十三周项目1
- UVALive4671:K-neighbor substrings (FFT+Hash)
- 基于STM32图像处理的机器人自动充电解决方案
- Pytorch学习笔记(2)---Numpy桥
- 基于Vue2.0的外卖APP——后台功能实现(express框架)
- hbase 快速入门之---HFILE数据格式
- 字符串倒序单词顺序不变保留空格
- 172.Spring Boot WebSocket:编码分析
- vb.net 教程 8-3 数据库操作7
- 数据显示:中国程序员是世界上最牛的程序员
- UnityWebRequest下载网络或本地资源,支持断点续传、多文件同时下载
- ubuntu14+qt5.9.1库安装
- 数组遍历filter,forEach,map,every,some,reduce
- Android监听通讯录修改,然后上传修改部分