hadoop-2.X 共享日志、隔离机制和自动故障转移
来源:互联网 发布:咫尺网络的区域代理 编辑:程序博客网 时间:2024/05/21 07:52
前面学习了使用命令hdfs haadmin -failover手动进行故障转移,在该模式下,即使现役NameNode已经失效,系统也不会自动从现役NameNode转移到待机NameNode,下面学习如何配置部署HA自动进行故障转移。自动故障转移为HDFS部署增加了两个新组件:ZooKeeper和ZKFailoverController(ZKFC)进程。ZooKeeper是维护少量协调数据,通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper的以下功能:
- 故障检测:集群中的每个NameNode在ZooKeeper中维护了一个持久会话,如果机器崩溃,ZooKeeper中的会话将终止,ZooKeeper通知另一个NameNode需要触发故障转移。
- 现役NameNode选择:ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为active状态。如果目前现役NameNode崩溃,另一个节点可能从ZooKeeper获得特殊的排外锁以表明它应该成为现役NameNode。
ZKFC是自动故障转移中的另一个新组件,是ZooKeeper的客户端,也监视和管理NameNode的状态。每个运行NameNode的主机也运行了一个ZKFC进程,ZKFC负责:
- 健康监测:ZKFC使用一个健康检查命令定期地ping与之在相同主机的NameNode,只要该NameNode及时地回复健康状态,ZKFC认为该节点是健康的。如果该节点崩溃,冻结或进入不健康状态,健康监测器标识该节点为非健康的。
- ZooKeeper会话管理:当本地NameNode是健康的,ZKFC保持一个在ZooKeeper中打开的会话。如果本地NameNode处于active状态,ZKFC也保持一个特殊的znode锁,该锁使用了ZooKeeper对短暂节点的支持,如果会话终止,锁节点将自动删除。
- 基于ZooKeeper的选择:如果本地NameNode是健康的,且ZKFC发现没有其它的节点当前持有znode锁,它将为自己获取该锁。如果成功,则它已经赢得了选择,并负责运行故障转移进程以使它的本地NameNode为active。故障转移进城与前面描述的手动故障转移相似,首先如果必要保护之前的现役NameNode,然后本地NameNode转换为active状态。
在典型部署中,ZooKeeper守护进程运行在三个或者五个节点上,但由于ZooKeeper本身需要较少的资源,所以将ZooKeeper部署在与现役NameNode和待机NameNode相同的主机上,还可以将ZooKeeper部署到与YARN的ResourceManager相同的节点上。建议配置ZooKeeper将数据存储在与HDFS元数据不同的硬盘上以得到最好的性能和隔离性。在配置自动故障转移之前需要先停掉集群,目前在集群运行时还不可能将手动故障转移的安装转换为自动故障转移的安装。
0 0
- hadoop-2.X 共享日志、隔离机制和自动故障转移
- hadoop 2.x之HDFS HA讲解之十一测试failover故障转移和隔离、使用sshfence隔离的配置ssh无密钥登陆
- 负载均衡和自动故障转移
- MHA故障转移日志
- HDFS自动故障转移配置
- Hadoop-2.4.1学习之QJM HA的自动故障转移
- Hadoop之旅(7)— HDFS HA Zookeeper自动故障转移
- hadoop yarn隔离机制
- Hadoop 容错之1.X的单点故障 到 2.X的HA和HDFS Federation
- Kafka初始化和故障转移
- 通过域名解决服务器故障自动转移
- 用MHA实现mysql自动故障转移
- keepalive配置mysql自动故障转移
- MySQL 自动故障转移工具--mysqlfailover
- 利用共享文件夹实现故障转移群集的仲裁盘
- SQL server故障转移和负载均衡
- SQL server故障转移和负载均衡
- [mongodb翻译]分片和故障转移
- JDK初探
- 记录下CSDN第一篇博客
- HDU 1711 Number Sequence
- 线性表的顺序存储
- 使用XML和java代码混合控制UI界面
- hadoop-2.X 共享日志、隔离机制和自动故障转移
- 2017秋招知识点小记(C/C++)
- zookeeper单节点与集群的安装(Linux)
- ubuntu方向键和退格键无效
- 改变距离定义情况下Dijkstra算法正确性成立的一个充分条件
- fio性能测试工具新添图形前端gfio
- (1)lifegame
- $.ajax(),$.get()
- Android小项目实践之制作手电筒