Hadoop深入学习:HDFS主要流程——SNN合并fsimage和编辑日志
来源:互联网 发布:mac无线键盘出现乱键 编辑:程序博客网 时间:2024/04/29 21:59
本节我们主要写Secondary NameNode是如何合并命名空间文件和编辑日志文件。
//-------------------------------------------------------------------------------------------------------------------------------------
Namenode 是 HDFS 的元数据服务器,管理并协调数据节点 Datanode 的工作,其内存中保存整个分布式文件系统的 2 类元数据:
(1)文件系统的名字空间,即系统目录树(恢复这个需要FsImages和Edit logs)。
(2)数据块副本与 Datanode 的映射,即副本的位置。
第(1)类元数据在 Namenode 上定期持久化,保存为镜像文件。数据块副本的位置信息没有实现持久化,而是在Namenode 启动时,通过接收 Datanode 的 Blockreport 获得。
//--------------------------------------------------------------------------------------------------------------------------------------
客户端对HDFS的文件系统目录树进行的任何修改,都会被记录到编辑日志(edits)文件中,以保证系统出现故障后,能够根据这些日志进行恢复,但是随着日志不断地增加,这意味着系统重启后,需要进行恢复的时间也就越长。为了避免这一情况的发生,HDFS引入了检查点(checkpoint)机制。
命名空间镜像(FSImage)文件是系统的持久性检查点,和编辑日志不同,它不能在客户端做的每次修改后都及时更新。故命名空间镜像再加上编辑日志,NameNode节点的元数据提供了安全保障。在NameNode启动时,首先会将磁盘上(存在NameNode的磁盘上)的fsiamge命名空间镜像文件读入内存,恢复到某个时间的检查点,然后再读取编辑日志,进行重建(也可以成为合并)。
Hadoop中引入了第二命名节点Secondary NameNode节点,就是为了解决编辑日志随时间不断的增长,NameNode节点重启后要花很长时间来执行编辑日志中的每一个操作(来进行合并),这种情况。
Secondary NameNode节点的工作流程:
1)、定期的通过远程方法获取NameNode节点上编辑日志(edits)的大小;
2)、如果NameNode节点上编辑日很小,就不需要合并NameNode上的fsimage文件和编辑日志;
3)、通过远程接口启动一次检查点过程,这时名字节点NameNode需要创建一个新的编辑日志文件edits.new,后续对文件系统的任何修改都记录到这个新编辑日志里;
4)、SecondNameNode点将Namenode上的fsimage文件和原编辑日志下载到本地,并在内存中合并,合并的结果输出为fsimage.ckpt;
5)、再次发起请求通知NameNode节点数据(fsimage.ckpt)已准备好,然后NameNode节点会下载fsimage.ckpt(并替换掉原来的fsimage);
6)、NameNode下载结束后,Secondary NameNode会通过远程调用(NameNodeProtocol.rollFsImage())完成这次检查点,NameNode在响应该远程调用时,会用fsimage.ckpt覆盖原来的fsimage文件,形成新的命名空间镜像,同时将新的编辑日志edits.new改名为edits。
整个流程如下图示:
原文地址:http://flyingdutchman.iteye.com/blog/1874824
- Hadoop深入学习:HDFS主要流程——SNN合并fsimage和编辑日志
- HDFS追本溯源:HDFS操作的逻辑流程与源码解析 【SNN对fsimage和editslog文件的合并流程-------很重要】
- Hadoop中的fsimage和edits log编辑日志
- Hadoop中的fsimage和edits log编辑日志
- Hadoop文件系统元数据fsimage和编辑日志edits
- Hadoop文件系统元数据fsimage和编辑日志edits
- Hadoop文件系统元数据fsimage和编辑日志edits
- Hadoop文件系统元数据fsimage和编辑日志edits
- Hadoop文件系统元数据fsimage和编辑日志edits
- Hadoop文件系统元数据fsimage和编辑日志edits
- Hadoop文件系统元数据fsimage和编辑日志edits
- 【总结】Hadoop文件系统元数据fsimage和编辑日志edits
- HDFS fsimage和edits合并实现原理
- Hadoop中fsimage和edits合并问题
- Hadoop学习4-HDFS详解1(SNN、副本放置策略)
- HDFS中SecondaryNameNode合并fsimage和edit log操作
- Hadoop学习;测试;启动bug;secondary合并edits到fsimage
- Hadoop之HDFS---浅谈DN、NN、SNN
- POJ 2362 Square
- Hololens入门之语音识别(语音命令)
- Could not load the Tomcat server configuration at \Servers\Tomcat v7.0 Server at localhost-config
- 《算法学习与数据结构》part3 算法分析与数据结构之数组和广义表
- OC中类变量的@protected,@private,@public,@package区别
- Hadoop深入学习:HDFS主要流程——SNN合并fsimage和编辑日志
- 火车进出站-字典序输出(华为OJ)
- 染色法
- 【剑指offer】数值的整数次方-Java
- 去掉字符串中的所有空格
- 260. Single Number III
- ACGallery I: Sequence diagram for reading photos:
- 高度自动化(一)-发布可靠软件的系统方法一书
- android okhttp 使用方法