HDFS的备份机制
来源:互联网 发布:拉货搬家软件 编辑:程序博客网 时间:2024/05/18 02:08
在分布式系统中,如果某个节点挂掉了怎么办?尤其是master节点。hdfs有两种机制可以解决这个问题:HDFS HA(high ability)和HDFS Federation
HA
namenode里面有映射表,可以控制所有的datanode。
为了防止namenode挂掉,所有一般会有两个namenode:namenode active ; namenode standby。只有active对外提高服务。
为了时刻保持active与standby的数据同步,一般会有一个JournalNode。
为了使得standby可以转换为active,有一个zookeeper机制。会有一个fail over controller分别时时监控active和standby的状态。
Federation
有多个namenode,分别负责几个datanode。类似于美国的联邦机制
结合
很多时候,会将两种机制结合起来使用。
会有多个namenode,没有namenode都有active和standby
1 0
- HDFS的备份机制
- HDFS的数据通信机制
- Hadoop的HDFS机制
- HDFS的工作机制
- HDFS的HA备份比较
- HDFS使用QJM(Quorum Journal Manager)实现的高可用性以及备份机制
- HDFS源码分析(二)-----元数据备份机制
- HDFS源码分析(二)-----元数据备份机制
- HDFS内部的认证机制
- Hadoop中HDFS的存储机制
- 再理解HDFS的存储机制
- 再理解HDFS的存储机制
- Hadoop的HDFS文件存储实现机制
- Hadoop中HDFS的存储机制
- Hadoop中HDFS的存储机制
- hdfs读写数据的工作机制
- HDFS Ozone的Pipeline实现机制
- HDFS 的工作机制:写操作
- 抽象类 面积与周长
- JAVA中的管道流
- (五)mybatis学习之mapper代理开发方式及与spring整合
- 常规功能和模块自定义系统 (cfcmms)—039模块记录(数据)的权限设计(4)
- LeetCode:计算相同数组元素的下标差(Contains Duplicate II)
- HDFS的备份机制
- ACM常用的C++头文件!
- 基于AVPlayer 自定义播放器
- HTML学习笔记(十四)URL
- leetcode之Power of Two
- 1003. Emergency
- 我的linux学习之路:Git常用命令
- 蓝桥杯单片机设计与开发笔记(四)
- Codeforces Round #346 (Div. 2) ABCDE