理解Hadoop分布式文件系统HDFS（二）

hdfs federation--hdfs联邦，Hadoop 2.0以后引入的两大重要特性之一(HA和联邦)。HA保证了在主namenode节点出故障宕机之后，备namenode节点迅速接管主namenode工作，从而使得集群不间断的对外提供服务。hdfs在数据存储节点datanode上支持水平扩展，而namenode不支持水平切分。其所存储的文件数量依赖namenode内存大小，只有一个namenode节点对上层应用提供服务，内存压力和资源开销巨大。为了缓解这种压力，使其能够水平伸缩，引入hdfs联邦机制。实际上，hdfs联邦对已有的hdfs改动很小，大多是在datanode节点上做改动。

应用场景：

  为外部应用独立的提供基于namenode/namespace的文件系统，各自之前互不影响，自行管理。其实就是多namenode，每个namenode对应一个外部应用提供服务。

机制：

  通过namenode/namespace+block pool（内部自治）实现hdfs联邦。命名空间（namenode/namespace）管理着目录、文件、数据块，支持对数据文件的各种操作，如修改、删除、新建等操作，而块池则管理着数据库的存储，同样支持对数据库的各种操作。允许一个HDFS集群中存在多个NameNode同时对外提供服务，这些NameNode分管一部分目录（水平切分），每个namespace都有一个block pool，彼此之间相互隔离，但共享底层的DataNode存储资源。

优势：

  1.支持namenode/namespace水平扩展，结构简单，向后兼容（不需要改动现有的namenode配置）。

  2.性能，多namenode提高吞吐量。

  3.隔离性，为不同的应用程序或用户分配不同的命名空间，便于管理和维护。

详情参见该博文：HDFS Federation