《HBase权威指南》读书笔记 第八章:架构,HFile格式
来源:互联网 发布:淘宝可以货到付款吗? 编辑:程序博客网 时间:2024/05/05 23:45
HFile文件格式
文件结构如上图。主要有以下部分:
- Data-block:数据块,每个块中存放多个
KeyValue
对象。默认每个块64KB。但不是严格意义上的64KB,大致维持在64KB左右。 - Meta-block:储存元数据信息
- File Info:储存HFile文件信息
- Trailer:包含指向其他块的指针。Trailer写完了才能算一个完整的HFile文件。
通过以下工具可以手动解析HFile文件:
bin/hbase org.apache.hadoop.hbase.io.hfile.HFile -f 文件全路径 -v -m -p
KeyValue格式如下:
可以看到Key中包含列族名、列名,这种重复数据会浪费内存。储存的时候如果用了压缩,这些重复数据可以消除掉。
参考资料:http://blog.csdn.net/javaman_chen/article/details/47833715
阅读全文
0 0
- 《HBase权威指南》读书笔记 第八章:架构,HFile格式
- 《HBase权威指南》读书笔记8:第八章 架构
- 《HBase权威指南》读书笔记 第八章:架构,B+树
- 《HBase权威指南》读书笔记 第八章:架构,LSM树
- 《HBase权威指南》读书笔记 第八章:架构,存储
- 《HBase权威指南》读书笔记 第八章:架构,region拆分
- 《HBase权威指南》读书笔记 第八章:架构,Compaction合并
- 《HBase权威指南》读书笔记 第八章:架构,WAL预写日志
- 《HBase权威指南》读书笔记 第八章:架构:读取数据、region生命周期、ZK数据结构
- 《HBase权威指南》读书笔记:第二章 安装
- 《HBase权威指南》读书笔记----简介
- 《HBase权威指南》读书笔记1
- 《HBase权威指南》读书笔记2
- 《HBase权威指南》读书笔记3
- 《HBase权威指南》读书笔记4
- JavaScript权威指南读书笔记——第八章 函数
- 《HBase权威指南》读书笔记6:第六章 可用客户端
- 《HBase权威指南》读书笔记7:第七章 与MapReduce 集成
- 1023. 组个最小数 (20)
- 正则表达式的语法、RegExp对象的匹配方法、String对象的匹配方法
- css(1)
- Linux C 多文件编程
- day07-BootStrap与mysql回顾
- 《HBase权威指南》读书笔记 第八章:架构,HFile格式
- JAVA引用类型强制类型转换
- java对象引用
- 单链表的归并排序:时间复杂度O(nlogn),空间复杂度O(1)
- 挑战nbc (noip2016)膜你赛Day1提高组
- java实现中缀转后缀,后缀计算值
- Leading and Trailing LightOJ
- 数组 forEach() 与map()的区别
- 解决:org.hibernate.exception.ConstraintViolationException: could not execute statement