Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
来源:互联网 发布:中国森林覆盖率 知乎 编辑:程序博客网 时间:2024/04/30 11:44
Hadoop 2.0 HA架构图:
FC是要和NN一一对应的,两个NN就要部署两个FC。它负责监控NN的状态,并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利,因为最多只有两个节点,目前选择策略还比较简单(先到先得,轮换)。
ZKFC是Hadoop中通过ZK实现FC功能的一个实用工具。
ZKFC的主类是org.apache.hadoop.hdfs.tools.DFSZKFailoverController。
- formatZK
创建特定目录,作为后续写节点状态的父路径。如果该目录已经存在,清理原有目录为空目录。
- HealthMonitor
在一个独立线程中,通过RPC方式,周期性的调用HAServiceProtocol接口的monitorHealth方法,获取NN的状态。并把状态报告给ActiveStandbyElector 。
- ActiveStandbyElector
ActiveStandbyElector 负责判断哪个NN可以成为Active。它通过ZK,看哪个能够成功的创建一个特定的ephemeral lock file (znode),哪个就是Active,其它的成为Standby。在一个节点被通知变成Active后,它必须确保自己能够提供一致性的服务(数据一致性),否则它需要主动退出选举。
如果一个Active因HealthMonitor监控到状态异常,这里会作出判断,先通过Fenceing功能关闭它(确保关闭或者不能提供服务),然后在ZK上删除它对应ZNode。
发送上述事件后,在另外一台机器上的ZKFC中的ActiveStandbyElector 会收到事件,并重新进行选举(尝试创建特定ZNode),它将获得成功并更改NN中状态,从而实现Active节点的变更。
- Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
- Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
- Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
- Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
- Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
- Hadoop 2.0--HA功能中ZKFC对NN状态的控制
- HA功能中ZKFC对NN状态的控制
- 实现hadoop NN的HA自动容灾
- Hadoop NameNode的ZKFC机制
- Hadoop完全分布式HA配置hdfs zkfc -formatZK错误
- HDFS HA ZKFC 分析
- HDFS-HA的配置-----自动Failover(ZKFC)
- NN HA 对于 Client 透明的实验
- hadoop ha CDH5.01 , 两个NN都是standby
- Hadoop HA --- 网络原因/NN Full GC造成集群故障
- Hadoop HA使用中遇到的坑
- Hadoop 2.0 中 NameNode/ResourceManager HA 总结
- tf.nn.conv2d中stride对输出的影响
- 装饰者模式
- Linux字符设备驱动和杂项设备驱动对比
- Android Studio 图片资源引用杂谈
- variadic functions
- COM组件 IDispatch 及双接口的调用
- Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
- 从 0 到 1:微信后台系统的演进之路zt
- websphere建立概要时指定端口号
- arp包win32下链接出错问题
- Multiple Return Values
- 通过checkbox的属性理解jquery获取attribute与property
- shell小记:lsdev
- Unreal Engine4学习笔记--2制作别人可以加入的多人游戏
- Android学习历程7-Activity详解