hadoop知识之fsimage和editlog
来源:互联网 发布:数据库服务器ico图标 编辑:程序博客网 时间:2024/05/17 08:33
fsimage:filesystem image 的简写,文件镜像。
客户端修改文件时候,先写到editlog,成功后才更新内存中的metadata信息。
只有当对文件操作成功的时候,才会写到editlog。
fsimage是文件meta信息的持久化的检查点。
当namenode失败的时候,
文件metadata信息可以通过:加载fsimage文件到内存中,在editlog中应用相应的操作。
(这一操作也是namenode刚启动要干的事情。)
fsimage文件中包含文件metadata信息,不包含文件块位置的信息。
namenode把文件块位置信息存储在内存中,这些位置信息是,在 datanode加入集群的时候,
namenode询问datanode得到的,并且间断的更新。
As described, the edits file would grow without bound. Though this state of affairs
would have no impact on the system while the namenode is running, if the namenode
were restarted, it would take a long time to apply each of the operations in its (very
long) edit log. During this time, the filesystem would be offline, which is generally
undesirable.
The solution is to run the secondary namenode, whose purpose is to produce checkpoints
of the primary’s in-memory filesystem metadata
fsimage与editlog的旅行
图片
两个属性配置checkpoint
fs.checkpoint.period in seconds
fs.checkpoint.size in bytes, which it checks
every five minutes.
safe mode下也可以手动,
命令: hadoop dfsadmin -saveNamespace
- hadoop知识之fsimage和editlog
- hadoop知识之fsimage和editlog
- hadoop知识之fsimage和editlog
- Hadoop NameNode的元数据持久化存储FSImage和日志存储EditLog源代码分析
- Hadoop Namenode元数据文件 Fsimage、editlog、seen_txid说明
- (3)hadoop学习——namenode的fsimage与editlog详解
- Hadoop-2.4.1学习之edits和fsimage查看器
- Hadoop NameNode启动之载入FSImage(一)
- Hadoop NameNode启动之载入FSImage(二)
- hadoop中fsimage和edits的区别
- Hadoop中fsimage和edits合并问题
- hadoop的元数据fsimage和edits
- hadoop之fsimage和edits工作机制和元数据namenode宕机恢复
- Hadoop-2.4.1学习之创建fsimage和edits源码分析
- 第124讲:Hadoop集群管理之fsimage和edits工作机制内幕详解学习笔记
- Hadoop中的fsimage和edits(能力工场--Hadoop)
- Hadoop NameNode启动之FSImage、edits重置(三)
- Hadoop中的fsimage和edits log编辑日志
- javascript系统学习的随笔(一)
- STL 中 deque 的使用
- hdu 1234 开门人关门人
- 对TCP/IP网络协议的深入浅出归纳
- 矩阵乘法的优化
- hadoop知识之fsimage和editlog
- wro4j的js和css压缩技术
- led驱动模块编译、加载和测试
- 利用ios的自动布局使下拉时图片有放大效果
- Ruby 零碎点
- hive 抽样统计
- 【学习记录】Mysql++
- Xcode解决“Implicit declaration of function 'XXX' is invalid in C99” 警告或报错
- 【性能测试】性能测试经验文档