Region/Hfile/Datanode的关系和区分
来源:互联网 发布:mac pro13 retina壁纸 编辑:程序博客网 时间:2024/05/02 05:04
转载链接:https://www.zhihu.com/question/26872988/answer/35186487
这三个术语分别属于Hadoop家族中的HBase和HDFS,DateNode是HDFS的,HFile和region是HBase的,HBase是采用HDFS作为存储。
Data Node是指HDFS集群中负责存储数据的服务器,与此相对的是Naming Node:
<img src="https://pic4.zhimg.com/272b35a89da96d6ed24241d8c7ebb107_b.jpg" data-rawwidth="874" data-rawheight="604" class="origin_image zh-lightbox-thumb" width="874" data-original="https://pic4.zhimg.com/272b35a89da96d6ed24241d8c7ebb107_r.jpg">
Region是表按照RowKey范围划分的不同的部分,相当于DBMS中的分区。同时Region也是表在集群中分布的最小单位,可以被分配到某一个Region Server上。
<img src="https://pic4.zhimg.com/73599131f5b647e6319d93e7aef10fcf_b.jpg" data-rawwidth="1500" data-rawheight="1125" class="origin_image zh-lightbox-thumb" width="1500" data-original="https://pic4.zhimg.com/73599131f5b647e6319d93e7aef10fcf_r.jpg">(图片来源:(
Region中又按照Column Famliy分为不同的Store,每个Store由MemStore和StoreFile组成。
<img src="https://pic3.zhimg.com/2438cd1b138a6f2dd547356f85ef8d1e_b.jpg" data-rawwidth="1500" data-rawheight="1125" class="origin_image zh-lightbox-thumb" width="1500" data-original="https://pic3.zhimg.com/2438cd1b138a6f2dd547356f85ef8d1e_r.jpg">
如上图所示,一个StoreFile对应着一个HFile。而HFile是存储在HDFS之上的。HFile文件格式是基于Google Bigtable中的SSTable,如下图所示:
<img src="https://pic3.zhimg.com/3441bb28765471219ddc34f2e7fc200a_b.jpg" data-rawwidth="1600" data-rawheight="473" class="origin_image zh-lightbox-thumb" width="1600" data-original="https://pic3.zhimg.com/3441bb28765471219ddc34f2e7fc200a_r.jpg">(图片来源:
下面这张图中把DataNode,Region(HRegion)和HFile以及它们之间的关系都表示出来了。
<img src="https://pic3.zhimg.com/ef9724265b9a2fc90eab38228bad1646_b.jpg" data-rawwidth="1600" data-rawheight="809" class="origin_image zh-lightbox-thumb" width="1600" data-original="https://pic3.zhimg.com/ef9724265b9a2fc90eab38228bad1646_r.jpg">(图片来源:
阅读全文
0 0
- Region/Hfile/Datanode的关系和区分
- HBase的Hmaster、HRegionserver、Region、Hstore、memstore、HFile的关系
- Hbase的读写流程、快照管理以及RegionServer,Region,StoreFile,Hfile,ColumFamily的关系
- 关于HFile的思考--创建和解析HFile
- hbase region, store, storefile和列簇,的关系
- 详细区分回车和换行的关系
- Region中的数据操作之HFile读写
- namenode,datanode,client三者的关系
- 区分关联、依赖和聚合、合成的关系
- 区分关联、依赖和聚合、合成的关系
- 关于c++中虚函数和接口的关系区分
- IP、子网掩码、网络号之间的关系、区分和运算
- IP、子网掩码、网络号之间的关系、区分和运算
- 如何区分关联关系和依赖关系
- 区分俩者的关系
- HDFS的namenode和datanode
- #region和#endregion的作用
- Hbase中put和delete对hfile的操作
- oracle rac 生产库添加udev注意事项和步骤
- 全局/局部变量
- Oracle中的SQL基础查询语句--上(值得一看,例题非常多,也很清晰)
- java笔记之线程间通信
- windows蓝屏故障解决
- Region/Hfile/Datanode的关系和区分
- HTTP请求与响应-get和post
- Android 仿淘宝首页界面
- hdu 5705 Clock
- [PAT甲级]1002. A+B for Polynomials (25)(求两个多项式的和)
- 骑马修栅栏题解
- 机器学习概述
- linux初学者-CIFS网络文件系统篇
- C起源及C89/C99/C11标准