HDFS读书笔记-了解NameNode(二)
来源:互联网 发布:著名的国内金融数据库 编辑:程序博客网 时间:2024/05/23 02:06
当namenode重启加载fsimage时,就是按照如下格式协议从文件流中加载元数据信息。从fsimag的存储格式可以看出,fsimage保存有如下信息:
一、加载Img头信息,如下:
1、 imgVersion(int):当前image的版本信息
2、namespaceID(int):用来确保别的HDFS instance中的datanode不会误连上当前NN。
3、numFiles(long):整个文件系统中包含有多少文件和目录
4、genStamp(long):生成该image时的时间戳信息。
二 、如果加载目录,包含以下信息:
1、path(String):该目录的路径,如”/user/build/build-index”
2、replications(short):副本数(目录虽然没有副本,但这里记录的目录副本数也为3)
3、mtime(long):该目录的修改时间的时间戳信息
4、atime(long):该目录的访问时间的时间戳信息
5、blocksize(long):目录的blocksize都为0
6、numBlocks(int):实际有多少个文件块,目录的该值都为-1,表示该item为目录
7、nsQuota(long):namespace Quota值,若没加Quota限制则为-1
8、dsQuota(long):disk Quota值,若没加限制则也为-1
9、username(String):该目录的所属用户名
10、group(String):该目录的所属组
11、permission(short):该目录的permission信息,如644等,有一个short来记录。
三、如果加载文件,则还会额外包含如下信息:
1、blockid(long):属于该文件的block的blockid,
2、numBytes(long):该block的大小
3、genStamp(long):该block的时间戳
当该文件对应的numBlocks数不为1,而是大于1时,表示该文件对应有多个block信息,此时紧接在该fsimage之后的就会有多个blockid,numBytes和genStamp信息。
- HDFS读书笔记-了解NameNode(二)
- HDFS读书笔记-了解NameNode(二)
- HDFS读书笔记-了解NameNode
- HDFS读书笔记-如何让NameNode高可用(三)
- 《Hadoop 2.X HDFS源码剖析》读书笔记(NameNode)
- hdfs namenode format (续)
- HDFS---Namenode
- hdfs namenode
- 了解NameNode
- HDFS中namenode部分概述(一)
- HDFS中namenode部分概述(一)
- Hadoop读书笔记(二)HDFS的shell操作
- HDFS------hadoop namenode -format
- HDFS------namenode 初始化
- HDFS之NameNode分析
- HDFS namenode源码分析
- Hdfs NameNode 启动优化
- HDFS:NameNode、DataNode、SecondaryNameNode
- NSInvocation的使用
- 初学者的struts之struts.xml小结
- 转载《RAPI 功能示例与说明 》wince与windows之间传输文件
- [Hadoop]基本概念及安装
- hdu 5203 Rikka with wood sticks(Bestcoder Round #37)
- HDFS读书笔记-了解NameNode(二)
- 第六周(深复制)
- 剑指offer--两个链表的第一个公共结点
- Android 第一课
- 理想,总是空无一物的
- next_permutation函数
- 解决Android SDK Manage下载不了的问题
- Java 反射之Class用法
- [授权发表]GCC 编译背后的奥秘