HDFS源码分析之数据块Block、副本Replica

        我们知道，HDFS中的文件是由数据块Block组成的，并且为了提高容错性，每个数据块Block都会在不同数据节点DataNode上有若干副本Replica。那么，什么是Block？什么又是Replica？

        首先，我们看下Block的定义，如下：

/************************************************** * A Block is a Hadoop FS primitive, identified by a  * long. * **************************************************/@[e-mail] class Block implements Writable, Comparable<Block> {  public static final String BLOCK_FILE_PREFIX = "blk_";  public static final String METADATA_EXTENSION = ".meta";    //....省略部分代码    private long blockId;  private long numBytes;  private long generationStamp;    //....省略部分代码  }

        Block实际上是HDFS文件数据块在HDFS元数据或者文件树中的一种表现形式。它有三个重要字段，均是long类型的，数据块艾迪blockId、数据块字节数numBytes、数据块时间戳generationStamp。另外，BLOCK_FILE_PREFIX表明了数据块数据文件在物理硬盘上为文件名是以blk_为前缀的，而METADATA_EXTENSION则标识了数据块元数据文件在物理硬盘上是以.meta为文件名后缀的。

        我们再看下副本Replica的定义，它实际上是一个借口，如下：

/**  * This represents block replicas which are stored in DataNode. */@InterfaceAudience.Privatepublic interface Replica {//....省略部分代码}

        Replica实际上代表了存储与数据节点上的数据块副本，是数据块Block在数据节点上的存储形式的抽象。Replica的实现则是ReplicaInfo，它继承自Block，并实现了Replica接口，如下：

/** * This class is used by datanodes to maintain meta data of its replicas. * It provides a general interface for meta information of a replica. * 这个类被数据节点用于保持它副本的元数据信息。它为副本的元数据信息提供了通用的接口。 */@InterfaceAudience.Privateabstract public class ReplicaInfo extends Block implements Replica {//....省略部分代码}

        到了这里，我们就可以通俗的理解为，Block是名字节点NanmeNode中对文件数据块的抽象描述，它不区分副本，是组成文件的数据块的统一抽象描述，而Replica则是数据节点DataNode对存储在其上的物理数据块副本的统一抽象描述，它继承自Block，很好的反应了Block与Replica的对应关系。

        我们简单看下抽象类ReplicaInfo都有哪些成员变量，代码如下：

  /** volume where the replica belongs */  // 数据块副本属于的卷FsVolumeSpi实例volume  private FsVolumeSpi volume;    /** directory where block & meta files belong */    /**   * Base directory containing numerically-identified sub directories and   * possibly blocks.   * 数据块副本存储的基础路径，其包含以数字标识的子目录，或者干脆是数据块   */  private File baseDir;    /**   * Whether or not this replica's parent directory includes subdirs, in which   * case we can generate them based on the replica's block ID   * 标志位：数据块副本的父目录是否包含子目录，如果是的话，我们可以根据数据块副本的数据块ID获取它们。   */  private boolean hasSubdirs;    // 内部基础路径  private static final Map<String, File> internedBaseDirs = new HashMap<String, File>();

        由上面的代码，我们可以知道，它主要包括数据块副本属于的卷FsVolumeSpi实例volume，数据块副本存储的基础路径baseDir，其包含以数字标识的子目录，或者干脆是数据块，还有就是标志位：数据块副本的父目录是否包含子目录，如果是的话，我们可以根据数据块副本的数据块ID获取它们。