HDFS

一、HDFS的架构

二、HDFS文件系统图

三、NameNode和SecondaryNameNode

1、edits和fsimage

（1）、概念：

fsimage保存了最新的元数据检查点。

edits保存自最新检查点后的命名空间的变化。

（2）、工作原理：

从最新检查点后，hadoop将对每个文件的操作都保存在edits中，为避免edits不断增大，secondary namenode就会周期性合并fsimage和edits成新的fsimage，edits再记录新的变化。

（SecondaryNameNode 可以当做备份原理是：当NameNode挂掉，当中的fsimsge丢失，但是SecondaryNameNode中储存有从NameNode中下载下来的edits和fsimage，然后会将新合成的fsimage传给NameNode）

这种机制有个问题：因edits存放在Namenode中，当Namenode挂掉，edits也会丢失，导致利用secondary namenode恢复Namenode时，会有部分数据丢失（所以说SecondaryNameNode不能作为热备）。

----

2、副本数量的配置优先级

     （1）、服务端hdfs-site.xml中可以配置

     （2）、在客户端指定dfs.replication的值，客户端指定的优先级更高

3、Block存放的策略     

（1）、先在客户端所连接的datanode上存放一个副本
（2）、再在另一个机架上选择一个datanode存放第二个副本
（3）、最后在本机架上根据负载情况随机挑选一个datanode存放第三个副本