hadoop-2.3 HA(QJM方式)实践结论
来源:互联网 发布:大数据抓小偷 编辑:程序博客网 时间:2024/06/06 03:28
一幅图瞬间明白:什么是HA方案
本人试验环境:两台虚拟机
系统部署如下:
NameNode-active + DataNode + ZK +QJM +Client + RM +DM
NameNode-standby + DataNode + ZK +QJM +Client +DM
HA效果:当活动主节点进程(NameNode-active,又成主Namenode)死亡后,系统会监测并自动将 待命主节点进程(NameNode-standbye,又称备Namenode)切换为活动主节点,系统继续完成数据处理任务
有图可以看出:
主备NameNode的进程依赖于shared.edits(本人采用QJM方式),即任何一个journalNode进程死亡都会导致NameNode进程死亡,系统服务不可用
HA原理:
当主Namenode进程死亡后failover-controller(ZKFC)会检测到这一现象,立即将备Namenode切换成主Namenode,维持系统的正常使用
ZKFC进程受控于zkServer的心跳检测
0 0
- hadoop-2.3 HA(QJM方式)实践结论
- hadoop namenode 高可用(HA)搭建指南 QJM方式
- 使用QJM方式实现hadoop中的HA
- Hadoop2.2.0基于QJM的HA实践
- hadoop记录篇2-namenode高可用(HA)之QJM+NFS
- HADOOP 2.2.0 HA搭建(现有集群,QJM方案)
- Hadoop HDFS通过QJM实现高可用HA环境搭建
- hadoop 2.x之HDFS HA讲解之五 HA管理命令、元数据同步和基于QJM方式存储的硬件配置说明
- hadoop2.0 QJM方式的HA的配置
- HDFS HA QJM
- Hadoop HA QJM 与RM的自动容灾 以及hbase与Hadoop HA的 配置ha后hive修改
- 使用QJM构建HDFS HA架构(五)
- Ubuntu上使用Hadoop 2.x 十二 HDFS Cluster HA QJM和Federation联合使用
- Hadoop-2.4.1学习之QJM HA的自动故障转移
- Hadoop 2.x之HDFS利用QJM实现HA高可用
- Hadoop2.5.1 HDFS HA(QJM)
- HDFS HA with QJM && ResourceManager HA配置
- Hadoop 2.0 NameNode HA和Federation实践
- 将自定义对象存入到HashSet集合中并去除重复元素
- NC57 定时任务TaskExecutor 控制单个任务
- linux查看当前驱动的支持模式, 命令iw list
- [Python]核心编程之函数
- SharePoint 2013 error The given assembly name or codebase System.ServiceModel.dll was invalid
- hadoop-2.3 HA(QJM方式)实践结论
- [线段树] 1127 敌兵布阵
- 鞍点
- 【LeetCode with Python】 Rotate Image
- fzoj1759(欧拉定理)
- 进程与线程
- 编程在一个已知的字符串中查找最长单词,假定字符串中只含字母和空格,用空格来分隔单词。
- POJ 3258+二分
- 2-11. 两个有序链表序列的合并(15)