HDFS的HA备份比较

 总结了一下HDFS的几种HA机制，简单从几个角度做了个比较，参见以下的类表

 

方案

说明

优点

缺点

恢复方式

Secondnary

NameNode  

在主机定期下载fsimage,editlog，checkpoint合并成一个大文件fsimage

减少了NameNode恢复时间

只提供备份方案，仍有数据丢失的可能，数据可能会不一致

恢复时间比较长

按照备机的fsimage进行恢复

Backup

 NameNode

NameNode同步元数据的操作到BackupNode，backupNode做editlog更新，并自己做checkpoint

存储是分开的

类似于warm standby

因元数据操作同时在主备上都成功时才算成功，数据一致

backup没有block report的相关信息，在恢复时，dataNode需要上报block信息，所以仍然需要一定的时间。

用backup上的元数据文件进行恢复，在主、备上都可以

avata

dataNode blockreport 主备NameNode，主写日志到NFS，备定期读NFS中的日志合并到内存

hot standby

切换的时间短

数据一致

复杂度比较高

仍然需要人工进行切换

在切换时，需要注意备应用到所有的日志后，才可以提供服务

当NameNode失效后，需要人工确认，手动把虚拟IP切换到备机上

hadoop2.0

类似于avata，采取共享存储（SAN等）的方式，从节点不断的监控共享存储的日志（升级到active，需要确保日志应用完毕），将改变应用到自身

hot standby

切换时间短

数据一致

还不太成熟

暂时也是手动进行切换

DRBD

依赖于成熟的DRBD进行元数据的备份

备份的效率比较高

没有做到热备

切换时间比较长

启用备用机器的NameNode，读取DRBD的备份元数据