Federation 简介
来源:互联网 发布:网络名誉侵权管辖 编辑:程序博客网 时间:2024/05/22 17:49
HDFS的局限性(HDFS只有一个active的namenode):
1. 在name中存储所有的元数据(metadata),因此单个namenode所能存储的对象(块+文件)数据受到namenode所在JVM的heap size的限制。
2. 整个HDFS文件系统的吞吐量受限于单个namenode的吞吐量
3. 无法隔离namespace
Federation HDFS 与 HDFS的区别
HDFS只有一个name space, 它使用全部的块。 而Federation HDFS 中有多个独立的namespace,每个命名空间使用一个block Pool
Bolck Pool : 维护单个命名空间的所有block。Data node是一个物理概念,而block pool是一个重新将block划分的逻辑概念。同一个DataNode可以存储 着属于多个blocknode的多个块。block允许一个命名空间在不通知其它命名空间的情况下为一个新的block创建blockID。同时,一个namenode失效不会影响旗下的DataNode为其它namenode服务。
Federation HDFS 架构图
Federation HDFS HA架构图
其中 NN1 NN3 属于同一个namenode, NN2 NN4 属于同一个namenode
参考:
http://www.jikexueyuan.com/course/2570.html
阅读全文
0 0
- Federation 简介
- hadoop Federation(联邦)简介
- NameNode federation
- Federation Sample
- HDFS Federation
- HDFS Federation
- HDFS Federation
- HA&Federation
- HDFS Federation
- keystone federation
- HDFS Federation
- HDFS Federation
- HDFS Federation
- SAML2.0 identity federation
- SQL Azure Federation Exercise
- HDFS Federation(联邦)
- SQL Federation 实验
- hadoop Federation设计文档
- Hbase 性能优化
- Hadoop HA高可用配置
- Yarn HA高可用配置
- /lib/libmatrix.a: file not recognized: File format not recognized collect2: ld returned 1 exit statu
- Ubuntu下安装mysql
- Federation 简介
- linux debian系统下配置mysql主从复制(同步):
- Vmware创建Linux虚拟机
- Java NIO
- 字符串逆序存放
- Java IO 和 NIO 分别实现简单的Socket
- Linux 设置发送qq邮件
- 盈透出金正确姿势
- 数据对接—kettle使用知识1