HDFS的元数据持久化

来源:互联网 发布:淘宝规格怎么设置 编辑:程序博客网 时间:2024/03/29 00:55

dfs.name.dir

 

这个参数设置HDFS的元数据信息存放在本地操作系统的目录,如果有多个目录用逗号分开。

目录里的文件示例见下图

 

 1049092     2009-11-12 09:15    edits 
 17678000   2009-11-12 08:50    fsimage
 8                 2009-11-12 08:50    fstime 
 100             2009-11-12 08:50    VERSION
 

EditLog

 

Namenode用edits文件来保存对元数据进行的每次操作,比如创建文件,删除文件。类似于mysql中的binlog机制。

 

SecondNameNode

 

SecondNamenode其实只是一个简单的元数据备份进程,它会定期(缺省是1小时)把edits文件的内容合并到fsimage文件,同时保存最新的元数据副本在SecondNamenode进程所在机器的文件系统里

 

Fileimage

 

fsimage+edits才能准确表示内存中的元数据信息,NameNode启动的时候会合并edits文件到fsimage,然后load这个image到内存。这个时候系统处于safemode,等待DataNode上报各自的block数据块信息。

 

SafeMode

 

dfs.safemode.threshold.pct(缺省值0.999f)表示HDFS启动的时候,如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式,否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。

 

下面这行摘录自NameNode启动时的日志(block上报比例1达到了阀值0.9990)

The ratio of reported blocks 1.0000 has reached the threshold 0.9990. Safe mode will be turned off automatically in 18 seconds.

 

Format HDFS系统

 

hadoop namenode -format命令用来初始化HDFS系统,具体就是把dfs.name.dir目录中的四个文件edits,fsimage,fstime ,VERSION初始化。

 

NameSpaceID

NameNode初始化的时候会产生一个随机ID,记录在VERSION文件中的namespaceID字段。

 

cat VERSION
#Thu Nov 12 08:50:20 CST 2009
namespaceID=897887053
cTime=0
storageType=NAME_NODE
layoutVersion=-18

 

DataNode的VERSION文件中的namespaceID必须和NameNode中的一致,否则DataNode注册会失败。

原创粉丝点击