王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第九讲Hadoop图文训练课程:剖析NameNode和Secondary NameNode的工作机制和流程
来源:互联网 发布:宁武子 邦有道则知拼音 编辑:程序博客网 时间:2024/06/05 20:59
本讲主要剖析SecondaryNameNode。
“云计算分布式大数据Hadoop实战高手之路”之完整发布目录
云计算分布式大数据实战技术Hadoop交流群:312494188,每天都会在群中发布云计算实战性资料,欢迎大家加入!
Hadoop在启动的时候,会启动SecondaryNameNode,我们使用JPS命令查看一下查看一下Hadoop启动时启动了那些进程:
在我们讲解SecondaryNameNode的具体作用之前,我们先看一看NameNode的工作特点和具体作用:
1,在Hadoop的集群中,有NameNode和DataNode之分,在运行时DataNode可以有很多个,但NameNode只有一个;
2,NameNode保存的是Hadoop集群的metadata,即文件系统的元数据,包含整个文件系统的目录结构,每一个目录有哪些文件,每个文件有哪些分块,每个分块保存在哪一个DataNode上面;
3,NameNode在内存中保存metadata,这样可以快速的处理客户端对数据的“读请求”;
4,但是内存中的数据是容易丢失的,例如掉电时,所以我们必须在磁盘上有metadata的副本;
5,当有“写请求”到来时,即要改变Hadoop的文件系统时,NameNode会首先写editlog并主动同步到磁盘,成功后才会修改内存中的metadata,并且返回给客户端,客户端在收到成功返回的信息后才会写数据到具体的DataNode上去;
6,Hadoop会在磁盘上维护一个fsimage的文件,该文件是NameNode中metedata的镜像;
7,fsimage不会随时与NameNode中的metedata保持一致,而是每隔一段时间通过合并editlog中的内容来更新;
8,合并的过程是比较消耗内存和CPU的操作,所以Hadoop就是用SecondaryNameNode专门用于更新fsimage文件;
下面我们看看SecondaryNameNode的工作流程:
1,SecondaryNameNode通知PrimaryNameNode切换editlog;
2,SecondaryNameNode通过HTTP协议从PrimaryNameNode获得fsimage和editlog;
3,SecondaryNameNode将fsimage载入内存,然后开始合并editlog的操作;
4,SecondaryNameNode将合并后的新的fsimage发给PrimaryNameNode;
5,PrimaryNameNode收到SecondaryNameNode发过来的新的fsimage后会用新的fsimage替换旧的fsimage;
SecondaryNameNode合适触发上述的工作流程呢?或者说checkpoint是什么呢?满足以下的任何条件都会触发SecondaryNameNode的工作流程:
1,fs.checkpoint.period 指定两次checkpoint之间最大时间间隔,默认时间为3600秒,即一个小时;
2,fs.checkpoint.size规定editlog文件的最大值,该文件的默认大小是64M,一旦超过这个值则强制触发SecondaryNameNode的工作流程;
从Hadoop 2.X开始推出了Active-Backup NameNode的模式,即同时具有两个NameNode:Active NameNode和Backup NameNode,当Acitive NameNode不能够正常提供服务是时候,Backup NameNode就可以接替Acitive NameNode继续为客户端提供服务,这样就会更有力的保证Hadoop服务不会中断。
大家可以看出在Hadoop 1.X的版本时,整个Hadoop的正常工作极端的依赖于单一的Primary NameNode,当Primary NameNode出现问题的时候,整个Hadoop的文件系统就无法给客户端提供服务了,这对一些非常关键的应用是难以接受的,所以运行NameNode节点的机器的硬件需要非常好,例如磁盘的IO速度要非常快。
原文地址:点击打开链接
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第九讲Hadoop图文训练课程:剖析NameNode和Secondary NameNode的工作机制和流程
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十一讲Hadoop图文训练课程:MapReduce的原理机制和流程图剖析
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十讲Hadoop图文训练课程:剖析Hadoop的重要配置文件
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程:解决典型Hadoop分布式集群环境搭建问题
- 云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程:通过HDFS的心跳来测试replication具体的工作机制和流程
- 王家林“云计算分布式大数据Hadoop实战高手之路---从零开始”的第一讲Hadoop图文训练课程:10分钟理解云计算分布式大数据处理框架Hadoop
- 王家林“云计算分布式大数据Hadoop实战高手之路---从零开始”的第一讲Hadoop图文训练课程:10分钟理解云计算分布式大数据处理框架Hadoop
- 云计算分布式大数据Hadoop实战高手之路第八讲Hadoop图文训练课程:Hadoop文件系统的操作实战
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第二讲Hadoop图文训练课程:全球最详细的从零起步搭建Hadoop单机和伪分布式开发环境图文教程(长达88页的PDF)
- 王家林 云计算分布式大数据Hadoop实战高手之路---从零开始 第二讲:全球最详细的从零起步搭建Hadoop单机和伪分布式开发环境图文教程
- Hadoop:NameNode和Secondary NameNode
- Hadoop的Secondary NameNode(1)
- hadoop namenode的工作机制
- 王家林的“云计算分布式大数据Hadoop实战高手之路”之完整目录
- 王家林 第四讲Hadoop图文训练课程:实战构建真正的Hadoop分布式集群环境
- Hadoop之Secondary NameNode
- Hadoop之NameNode和SecondaryNameNode的区别
- Hadoop之HDFS分布式文件系统NameNode及Secondary NameNode详解
- qemu
- 云计算分布式大数据Hadoop实战高手之路第八讲Hadoop图文训练课程:Hadoop文件系统的操作实战
- MFC之控件
- oracle触发器导致的hibernate违反完整性约束, (*) - 未找到父项关键字
- UltraEdit verilog 语法高亮
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第九讲Hadoop图文训练课程:剖析NameNode和Secondary NameNode的工作机制和流程
- 第十七周-项目五(4)三色球的随机挑选。
- IE COOKIE
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十讲Hadoop图文训练课程:剖析Hadoop的重要配置文件
- cocos2dx进度条样式设置
- 理工大学ACM平台题答案关于C语言 2591 First Blood
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十一讲Hadoop图文训练课程:MapReduce的原理机制和流程图剖析
- hdu 3657 Game(最小割,最大点权独立集)
- Bug解决之道