HDFS HA以及Federation,Zookeeper概述
来源:互联网 发布:linux 云硬盘 挂载 编辑:程序博客网 时间:2024/05/22 08:09
HDFS HA策略(HighAvailability With QJM)
每个NameNode启动时,由其ZKFC向Zookeeper注册(创建唯一的Znode);当某个NameNode崩溃后,其ZKFC向Zookeeper报告,由Zookeeper删除对应的Znode,然后通过Watch消息原子广播到其他的standby的ZKFC,standby之间开始选取新的active节点作为新的NameNode,然后加载Journal Node节点中的fsimage和edit log从而恢复第一关系
Fsimage和edit log保存在Journal Node,FailoverController监视NameNode的工作状态(Active或者StandBy),且FailoverController需要周期性的向Zookeeper发送心跳信息,当检测到主NameNode故障后,采用投票策略(竞争锁)产生新的主NameNode。读写DataNode后,DataNode会上报其块信息至NameNode,NameNode将新的元数据保存在Journal Node中
Zookeeper和Journal Node的数量为奇数
HDFS Federation
可根据业务需求水平扩展NameNode,每个NameNode上仅保存部分元数据,但所有的NameNode均共享DataNode资源
对文本内容进行分词
1. Zookeeper概述
Zookeeper的适用场景:
ZookeeperWeb UI—node-zk-browser
客户端发送请求->Leader节点接收请求->原子广播请求至其他服务器节点->读写数据至轻量级的内存数据库
路径唯一确定一个节点,可携带数据,结构类似目录树
Zookeeper应用场景:
Client->Slave->Leader顺序性决定于Client请求到达Leader的时间戳
Zookeeper节点角色:
Observer用于转发客户端请求至Leader,但是不参加投票过程
Zookeeper数据流图:
Zookeeper判定更新成功的依据是有超过半数的节点更新成功
Zookeeper选举leader也需要超过半数的节点投票通过
Zookeeper节点数一般是3,5,7,9
大致流程:client->follow->leader,由leader发送proposal命令,所有的follow会向leader报告其更新状态,当leader检测到有超过半数的节点完成更新,则向follow发送commit命令,follow则可以提交更新结果,并向client发送反馈
Zookeeper客户端常用命令
Get命令的返回参数解析:
cZxid:创建ID
ctime:创建时间
mZxid:修改ID,一旦leader改变,mZxid前32位改变,后32位从0开始计数
mtime:修改时间
dataVersion:数据版本
numChildren:子节点个数
Zookeeper与KeepAlive区别:
1) 前者支持负载均衡
2) KeepAlive更简单
3) 前者可以存储一定数据
Zookeeper Java API:
Zookeeper实现分布式锁:所谓的分布式锁可以保证一个集群中某一时刻只有一个任务可以占有全部资源并执行
1) 向Zookeeper注册服务器,即创建Znode节点(临时节点),进入队列
2) 判断自己ID是不是队列的第一个,如果是则获得分布式锁,否则监控自己前一个节点(Watch)
3) 判断前一个目录节点是否存在(exists),如果不存在则2)
CountDownLatch.await();//等待指定数量的线程执行完
Zookeeper实现分布式锁的流程图:
Watcher仅通知一次
Zookeeper实现分布式配置管理
Client首先注册Watcher监视/Configuration Znode,当Znode的内容发生改变即create,delete,setData时,会通知Client并执行其process方法修改本地的配置文件
2. ProtocolBuf使用
ProtocolBuf用于结构化数据的序列化,即按照.proto文件规范书写相关属性生成对应的.java文件(可序列化的JavaBeen)
/usr/local/bin/protoc --java_out=.java文件的目录 .proto文件的路径 //编译.proto文件
序列化过程:即对象->字节数组
Put.add(“cf1”.getBytes()),“detail”.getBytes(),detail.build().toByteArray());”//往Hbase中插入cf1:detail=detail(字节数组,即序列化过程)
反序列化过程:字节数组->对象
Cellcell = rs.getColumnLatestCell(“cf1”.getBytes(),”detail”.getBytes());
Phone.pdetail detail=Phone.pdetail.parseFrom(CellUtil.cloneValue(cell));
- HDFS HA以及Federation,Zookeeper概述
- hdfs的federation以及ha部署说明
- HDFS的Federation以及HA+YARN+ResourceManagerHA
- 部署hadoop2.7.2 集群 基于zookeeper配置HDFS HA+Federation
- HDFS HA+Federation配置
- Hadoop HDFS-Federation概述
- 搭建hadoop2.2.0 HDFS,HA / Federation 和 HA&Federation
- HDFS HA和Federation安装部署方法
- Hadoop2.x之HDFS HA Federation
- HDFS再学习:HA和Federation机制
- HDFS HA系列实验之四:HA+Federation
- HA&Federation
- HDFS-2.0社区版的HA+Federation的实现解析
- HDFS HA+Federation的部署(多机)-配置文件
- Hadoop回顾--HDFS的HA机制&Federation机制
- HDFS-HA-federation的机制和功能组件
- HDFS Federation
- HDFS Federation
- Tomcat配置通过域名访问该项目
- 软件测试学习笔记_软件测试的基本概念
- CascadeType级联关系
- java 策略设计模式
- 先码后看 Tomcat是怎么启动容器的——Lifecycle篇 侵立删
- HDFS HA以及Federation,Zookeeper概述
- ORA-06502: PL/SQL: 数字或值错误 : 字符串缓冲区太小
- ssh免密登录的一个问题解决方法
- Spring Data JPA 配置数据库表根据实体属性自动创建表结构
- 微信开发中三种防注入的查询方法
- Python 3 多线程下载百度图片搜索结果
- Tomcat报java.lang.UnsupportedClassVersionError错误解决方法
- 数据恢复
- 卸载360安全卫士带来的悲剧