HDFS HA机器解决方案笔记

来源：互联网发布：最优化导论pdf百度云编辑：程序博客网时间：2024/06/15 14:37

原因

由于只有一个NameNode，势必存在单节点故障，因此HDFS的可靠性取决于NameNode的HA

HDFS的HA解决方案：

出发点

主要是从使用者的角度出发，提高元数据的可靠性，减少NameNode的服务恢复时间

措施

提高元数据可靠性的措施主要是对元数据进行备份，二HDFS本身具有多种机制来确保原数据的可靠性dy

减少NameNode服务恢复时间的两种措施：

1,，基于NameNode恢复重启服务的方式，对NameNode自身启动的过程进行分析，优化加载过程，较少启动时间

2，启动一个NameNode的热备节点（warm standby）,当主节点不能服务时，有热备节点来接替服务，此时切换时间成为服务恢复时间

现有成熟的HA解决方案

Hadoop的元数据备份方案

Hadoop的Secondry NameNode方案

Hadoop的checkpoint Node方案

Hadoop的Backup Node解决方案

DRDB解决方案

FACEBOOK的avartanode方案

高可用性的HDFSHadoop分布式文件系统深度实践笔记

----------------------------------------------------------------------------------------------------------------------------------------------