hdfs网络拓扑与机架感知

在了解hdfs创建文件之前，需要对hdfs网络拓扑有一个浅显的认知，继而对机架感知做一个简单的介绍。

在海量数据处理中，其主要限制因素是节点之间数据的传输速率-带宽稀缺。这里的想法是将两个节点间的距离作为带宽的衡量标准。Hadoop采用一个简单的方法：把网络看作一棵树，两个节点间的距离是它们到最近共同祖先的距离总和。该树中的层次是没有预先设定的，但是相对于数据中心、机架、正在运行的节点，通常可以设定等级。具体想法是针对以下场景，可用带宽依次递减:

1)      同一节点上的进程，网络自循环，距离为0，带宽最强

2)      同一机架上的不同节点，距离为2

3)      同一数据中心中不同机架上的节点，距离为4

4)      不同数据中心中的节点，距离为6

Hadoop不适合跨数据中心运行。

通过以上网络拓扑的介绍，了解到hdfs在创建文件的时候，需要考虑两点：带宽和可靠性。文件放到同一个datanode上，带宽提升，但不可靠，放到不同的数据中心，可靠性提高，但是带宽受限。

所以，hadoop集群有上千个节点，文件副本只有3个，如何选择节点进行副本存储，都能兼顾到带宽和可靠性？

这里，就用到了机架感知。

各个版本的hadoop在做文件创建的时候，对于副本的选择一般都有自己的机架感知策略。像hadoop2.7.2版本，副本选择策略为:

第一个副本在client所处的节点上，如果客户端在集群外，随机选一个。

第二个副本和第一个为相同机架

第三个副本位于不同机架

在实际的情况中，如果自定义自己的机架感知策略呢？

1.      创建类实现DNSToSwitchMapping接口

2.      配置文件core-site.xml

<property>

         <name>net.topology.node.switch.mapping.impl</name>

         <value>org.apache.hadoop.net.ScriptBasedMapping</value>

 </property>

3.      分发core-site.xml

4.      编译程序，打成jar，分发所有节点的hadoop的classpath下/Hadoop/shared/common/lib

具体如何自定义机架感知类，请自行百度学习