Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
来源:互联网 发布:网络歌手一亿个伤心dj 编辑:程序博客网 时间:2024/05/18 03:57
ZKFC进程名称:DFSZKFailoverController
Hadoop 2.0 HA架构图:
FC是要和NN一一对应的,两个NN就要部署两个FC。它负责监控NN的状态,并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利,因为最多只有两个节点,目前选择策略还比较简单(先到先得,轮换)。
ZKFC是Hadoop中通过ZK实现FC功能的一个实用工具。
ZKFC的主类是org.apache.hadoop.hdfs.tools.DFSZKFailoverController。
- formatZK
创建特定目录,作为后续写节点状态的父路径。如果该目录已经存在,清理原有目录为空目录。
- HealthMonitor
在一个独立线程中,通过RPC方式,周期性的调用HAServiceProtocol接口的monitorHealth方法,获取NN的状态。并把状态报告给ActiveStandbyElector 。
- ActiveStandbyElector
ActiveStandbyElector 负责判断哪个NN可以成为Active。它通过ZK,看哪个能够成功的创建一个特定的ephemeral lock file (znode),哪个就是Active,其它的成为Standby。在一个节点被通知变成Active后,它必须确保自己能够提供一致性的服务(数据一致性),否则它需要主动退出选举。
如果一个Active因HealthMonitor监控到状态异常,这里会作出判断,先通过Fenceing功能关闭它(确保关闭或者不能提供服务),然后在ZK上删除它对应ZNode。
发送上述事件后,在另外一台机器上的ZKFC中的ActiveStandbyElector 会收到事件,并重新进行选举(尝试创建特定ZNode),它将获得成功并更改NN中状态,从而实现Active节点的变更。
- Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
- Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
- Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
- Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
- Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
- Hadoop 2.0--HA功能中ZKFC对NN状态的控制
- HA功能中ZKFC对NN状态的控制
- 实现hadoop NN的HA自动容灾
- Hadoop NameNode的ZKFC机制
- Hadoop完全分布式HA配置hdfs zkfc -formatZK错误
- HDFS HA ZKFC 分析
- HDFS-HA的配置-----自动Failover(ZKFC)
- NN HA 对于 Client 透明的实验
- hadoop ha CDH5.01 , 两个NN都是standby
- Hadoop HA --- 网络原因/NN Full GC造成集群故障
- Hadoop HA使用中遇到的坑
- Hadoop 2.0 中 NameNode/ResourceManager HA 总结
- tf.nn.conv2d中stride对输出的影响
- 解决华为荣耀6连接电脑时,找不到“USB连接方式”的问题
- Service的生命周期
- mac下使用github
- apple id的安全提示问题的答案忘记了?
- oom
- Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
- LeetCode(29)-Divide Two Integers
- java并发前身CAS原理深度分析
- 清空一个模块,然后显示编译命令行
- OpenCV中CascadeClassifier类实现多尺度检测源码解析
- 01-iptables-introduction
- Spring Boot 部署与服务配置
- 模板元编程实现递归
- cvCanny() 边缘检测