HDFS中SecondaryNameNode合并fsimage和edit log操作
来源:互联网 发布:网络黑白 花无涯下载 编辑:程序博客网 时间:2024/04/30 04:34
本节我们主要写Secondary NameNode是如何合并命名空间文件和编辑日志文件。
//-------------------------------------------------------------------------------------------------------------------------------------
Namenode 是 HDFS 的元数据服务器,管理并协调数据节点 Datanode 的工作,其内存中保存整个分布式文件系统的 2 类元数据:
(1)文件系统的名字空间,即系统目录树(恢复这个需要FsImages和Edit logs)。
(2)数据块副本与 Datanode 的映射,即副本的位置。
第(1)类元数据在 Namenode 上定期持久化,保存为镜像文件。数据块副本的位置信息没有实现持久化,而是在Namenode 启动时,通过接收 Datanode 的 Blockreport 获得。
//--------------------------------------------------------------------------------------------------------------------------------------
客户端对HDFS的文件系统目录树进行的任何修改,都会被记录到编辑日志(edits)文件中,以保证系统出现故障后,能够根据这些日志进行恢复,但是随着日志不断地增加,这意味着系统重启后,需要进行恢复的时间也就越长。为了避免这一情况的发生,HDFS引入了检查点(checkpoint)机制。
命名空间镜像(FSImage)文件是系统的持久性检查点,和编辑日志不同,它不能在客户端做的每次修改后都及时更新。故命名空间镜像再加上编辑日志,NameNode节点的元数据提供了安全保障。在NameNode启动时,首先会将磁盘上(存在NameNode的磁盘上)的fsiamge命名空间镜像文件读入内存,恢复到某个时间的检查点,然后再读取编辑日志,进行重建(也可以成为合并)。
Hadoop中引入了第二命名节点Secondary NameNode节点,就是为了解决编辑日志随时间不断的增长,NameNode节点重启后要花很长时间来执行编辑日志中的每一个操作(来进行合并),这种情况。
Secondary NameNode节点的工作流程:
1)、定期的通过远程方法获取NameNode节点上编辑日志(edits)的大小;
2)、如果NameNode节点上编辑日很小,就不需要合并NameNode上的fsimage文件和编辑日志;
3)、通过远程接口启动一次检查点过程,这时名字节点NameNode需要创建一个新的编辑日志文件edits.new,后续对文件系统的任何修改都记录到这个新编辑日志里;
4)、SecondNameNode点将Namenode上的fsimage文件和原编辑日志下载到本地,并在内存中合并,合并的结果输出为fsimage.ckpt;
5)、再次发起请求通知NameNode节点数据(fsimage.ckpt)已准备好,然后NameNode节点会下载fsimage.ckpt(并替换掉原来的fsimage);
6)、NameNode下载结束后,Secondary NameNode会通过远程调用(NameNodeProtocol.rollFsImage())完成这次检查点,NameNode在响应该远程调用时,会用fsimage.ckpt覆盖原来的fsimage文件,形成新的命名空间镜像,同时将新的编辑日志edits.new改名为edits。
整个流程如下图示:
原文地址:http://blog.csdn.net/x_i_y_u_e/article/details/52430932
- HDFS中SecondaryNameNode合并fsimage和edit log操作
- HDFS:edit log & fsimage
- HDFS fsimage和edits合并实现原理
- HDFS追本溯源:HDFS操作的逻辑流程与源码解析 【SNN对fsimage和editslog文件的合并流程-------很重要】
- Hadoop中fsimage和edits合并问题
- Hadoop 2.x中fsimage和edits合并实现
- Hadoop 2.x中fsimage和edits合并实现
- Hadoop1.0中fsimage和edits的合并
- Hadoop 2.x中fsimage和edits合并实现
- 【源码】Hadoop 2.x中fsimage和edits合并实现
- Hadoop 1.x中fsimage和edits合并实现
- Hadoop 2.x中fsimage和edits合并实现
- Hadoop 1.x中fsimage和edits合并实现
- Hadoop 2.x中fsimage和edits合并实现
- FSImage和EditsLog合并过程
- Hadoop深入学习:HDFS主要流程——SNN合并fsimage和编辑日志
- hadoop 2.2.0 关于 fsimage & edit log 的相关配置
- hadoop 2.2.0 关于 fsimage & edit log 的相关配置
- 基因,我的神啊
- 欢迎使用CSDN-markdown编辑器
- C/S架构
- [canvas系列]addHitRegion(options)讲解
- 关于硬盘扇区的基本知识
- HDFS中SecondaryNameNode合并fsimage和edit log操作
- 不同版本下密码文件丢失解决流程
- Spring MVC之@RequestMapping 详解
- Privacy Statement
- 怎样更改Glide的缓存路径
- 【Python】Windows中DOS窗口运行Python的可执行文件
- hadoop setSortComparatorClass和setGroupingComparatorClass的作用及异同
- mongodb dbexit: really exiting now
- Debian包安装Elasticsearch5.0