hadoop 中NameNode和SecondaryNameNode的工作原理
来源:互联网 发布:黑暗森林法则 知乎 编辑:程序博客网 时间:2024/06/14 16:46
- 什么是NameNode?
NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。文件包括:
- fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。
edits:操作日志文件。
fstime:保存最近一次checkpoint的时间
- SecondaryNameNode的主要作用?
SecondaryNameNode定期合并fsimage和edits日志,将edits日志文件大小控制在一个限度下。 - NameNode 和SecondaryNameNode的工作原理
- 在NameNode端的工作流程如下:
1.Namenode始终在内存中保存metedata,用于处理“读请求” 到有“写请求”到来时,namenode会首先写editlog到磁盘,即向edits文件中写日志,成功返回后,才会修改内存,并且向客户端返回.
2.Hadoop会维护一个fsimage文件,也就是namenode中metedata的镜像,但是fsimage不会随时与namenode内存中的metedata保持一致,而是每隔一段时间通过合并edits文件来更新内容。 - secondary namenode的工作流程: 1.secondary通知namenode切换edits文件
2.secondary从namenode获得fsimage和edits(通过http)
3.secondary将fsimage载入内存,然后开始合并edits
4.secondary将新的fsimage发回给namenode
5.namenode用新的fsimage替换旧的fsimage
阅读全文
0 0
- hadoop 中NameNode和SecondaryNameNode的工作原理
- hadoop 中NameNode和SecondaryNameNode的工作原理
- hadoop SecondaryNameNode和NameNode
- hadoop SecondaryNameNode和NameNode
- hadoop SecondaryNameNode和NameNode
- Hadoop中namenode和secondarynamenode分开部署
- Hadoop之NameNode和SecondaryNameNode的区别
- hadoop管理NameNode和SecondaryNameNode
- Hadoop中namenode/secondarynamenode/yarn的一些配置
- hadoop集群管理之 SecondaryNameNode和NameNode
- Hadoop的NameNode与SecondaryNameNode,DataNode
- Hadoop中SecondaryNameNode工作机制
- Hadoop中SecondaryNameNode工作机制
- hadoop的NAMENODE的管理机制,工作机制和DATANODE的工作原理
- SecondaryNameNode和NameNode分离
- NameNode和SecondaryNameNode
- hadoop中NameNode、DataNode、SecondaryNameNode、JobTracker 、TaskTracker介绍
- hadoop管理NameNode AND SecondaryNameNode
- 页面内锚点定位及跳转方法总结
- eclipse +TestNG接口自动化框架搭建
- disabled="disabled"注意事项
- 编程常用英语词汇(一)
- 五种Spring事务配置的方式
- hadoop 中NameNode和SecondaryNameNode的工作原理
- Children of the Candy Corn-(bfs+dfs)
- Joomla 开发常用地址
- 深度学习:卷积神经网络CNN变体
- 找工作时如何快速了解一家公司?
- 软件开发工具一二章总结
- nodejs更改项目端口号
- 搜集的软件研发面试题 持续增加
- HDU 3746 Cyclic Nacklace kmp处理字符串