namenode和secondarynamenode的区别和联系及辅助恢复元数据
来源:互联网 发布:mac 顶栏 编辑:程序博客网 时间:2024/05/21 14:00
namenode主要负责元数据的管理和与client的通讯。
secondarynamenode主要负责对namenode的edits日志文件和fsimage文件进行合并。
那这里就必须说说fsimage镜像文件和edits日志文件是什么了?
1.fsimage文件其实就是namenode所管理的元数据的信息,只不过是被序列化到磁盘上的镜像文件,因为namenode的元数据信息都是存在内存中的,如果我们需要重启集群或者namenode挂掉了,那内存中的数据就会被清空,就可以通过加载fsimage镜像文件将元数据信息反序列化到内存中。
2.edits日志文件是记录了最近namenode元数据的变化信息,比如添加或者删除了哪些文件,建立了那些目录之类的信息,主要用于和fsimage镜像合并为最新的fsimage,如果每次都直接将fsimage序列化到磁盘,这样会很浪费资源。
上面说到合并过程是由secondarynamenode去做的,那它是怎么合并的呢?
如上图所示,namenode和secondarynamenode之间会有通讯,当第一次进行合并的时候secondarynamenode会从namenode中将需要合并的edits和fsimage拷贝到自己这台服务器上来,然后将fsimage和edits反序列化到secondarynamenode的内存中,进行计算合并,合并完成后会生成一个新checkpoint的fsimage并上传到namenode且覆盖namenode老的fsimage,如果第二次合并就不需要从namenode上copy fsimage了,只需要copy edits文件即可
注意:
secondarynamenode会进行edits和fsimage合并,需要把数据反序列化到内存中,所以一般需要把namenode和secondarynamenode分别部署到不同的机器上面,且内存都必须比较大。
按照上面所说的原理可以看出来secondarynamenode的fsimage至少都会比namenode的fsimage新,如果namenode的fsimage和edits目录只设置了一个,且设置目录的硬盘坏了,我们就可以通过secondarynamenode的fsimage进行辅助恢复,可以直接更换磁盘或者修改配置文件路径,然后把secondarynamenode下的镜像目录copy到namenode设置的目录下重启namenode即可,这样能恢复绝大部分的元数据。当然安全起见,namenode元数据的文件夹最好放在多个磁盘上面进行冗余(可以通过配置文件配置),防止数据丢失。
- namenode和secondarynamenode的区别和联系及辅助恢复元数据
- Hadoop之NameNode和SecondaryNameNode的区别
- hadoop SecondaryNameNode和NameNode
- hadoop SecondaryNameNode和NameNode
- SecondaryNameNode和NameNode分离
- hadoop SecondaryNameNode和NameNode
- NameNode和SecondaryNameNode
- hadoop管理NameNode和SecondaryNameNode
- NameNode和SecondaryNameNode关系解析
- SecondaryNameNode配置和恢复
- 通过secondarynamenode恢复Namenode
- hadoop 中NameNode和SecondaryNameNode的工作原理
- hadoop 中NameNode和SecondaryNameNode的工作原理
- hadoop之fsimage和edits工作机制和元数据namenode宕机恢复
- hadoop集群管理之 SecondaryNameNode和NameNode
- Hadoop中namenode和secondarynamenode分开部署
- hadoop 根据SecondaryNameNode恢复Namenode
- hadoop 根据SecondaryNameNode恢复Namenode
- python学习笔记之tkinter中的label
- 260. Single Number III(unsolved)
- oracle的备份数据
- 远程连接内部错误-无法解析DNS-可以上网
- ubuntu 常用指令
- namenode和secondarynamenode的区别和联系及辅助恢复元数据
- Java中重写与重载的区别
- Java多态之向上转型、同名变量以及方法覆盖
- 在Mac os 中快速创建一个文件(失败篇)
- 数据恢复:在 Linux 上恢复删除了的文件
- 总结一类比较特别dp模型
- [Javascript] radio, checkbox, select jquery操作
- JS中单引号和双引号之我见
- 序列化(Serializable接口)