Hadoop2,NameNode format 源码分析

转载地址：http://www.faceye.net/search/121017.html#bottom-ad

在Hadoop-2.X中，使用hdfs namenode –format对文件系统进行格式化。虽然无论是在生产环境还是测试环境中，已经使用了该命令若干次了，也大体了解该命令就是在本地文件系统中创建几个文件夹，但具体是如何执行的则需要通过阅读源代码来了解了。

      要想看到该命令的源代码，需要看看hdfs脚本中是如何执行相应的java类的。在hdfs脚本中，下面的语句说明了实际执行的java类和参数，其中类为org.apache.hadoop.hdfs.server.namenode.NameNode，参数为-format。虽然在命令行中输入的为hdfs namenode –forma，但将namenode赋予了COMMAND，并进行了参数的移位，这样参数就剩下了-format。

COMMAND=$1Shiftif [ "$COMMAND" = "namenode" ] ; then  CLASS='org.apache.hadoop.hdfs.server.namenode.NameNode'  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS"exec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"

      在eclipse中找到org.apache.hadoop.hdfs.server.namenode.NameNode，并定位到main方法，代码如下：

public static void main(String argv[]) throws Exception {    if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) {      System.exit(0);    }    try {      StringUtils.startupShutdownMessage(NameNode.class, argv, LOG);      NameNode namenode = createNameNode(argv, null);      if (namenode != null) {        namenode.join();      }    } catch (Throwable e) {      LOG.fatal("Exception in namenode join", e);      terminate(1, e);    }  }

      其中parseHelpArgument方法用于解析命令行参数，startupShutdownMessage方法输出启动和关闭的信息，NameNode的主要工作由createNameNode方法完成。在createNameNode中执行format方法之前先对参数进行了解析，具体代码如下，其中argv根据format时使用的参数可以为：-format [-clusterid cid ] [-force] [-nonInteractive]（完整的命令为hdfs namenode [-format [-clusterid cid ] [-force] [-nonInteractive]]）。该方法用于设置StartupOption中的clusterId为cid，若使用了-force参数则StartupOption中的isForceFormat为true，若使用了-nonInteractive则将StartupOption中的isInteractiveFormat为false，后两个参数的默认值为false和true。

StartupOption startOpt = parseArguments(argv);

      在createNameNode方法中与-format有关系的代码如下，且在执行完毕后返回null，结合main方法中的代码可以得知，HDFS的format执行完毕。format方法的参数分别为HdfsConfiguration、isForceFormat和isInteractiveFormat。

case FORMAT: {        boolean aborted = format(conf, startOpt.getForceFormat(),            startOpt.getInteractiveFormat());        terminate(aborted ? 1 : 0);        return null; // avoid javac warning      }

      接下来进入format方法，看看具体都执行了哪些操作，由于该方法是整个HDFS格式化的核心方法，所以会完整细致的分析该方法，这样势必会将整个方法分成几个部分，下面是第一部分的代码，这部分代码用于获取NameNode的NameServiceID和NameNode ID，并检查NameNode是否允许格式化，其中使用了参数dfs.namenode.support.allow.format，该参数的默认值为true（在生产环境中可以在格式化完成后将该参数设置为false，避免格式化正在运行的HDFS）。

String nsId = DFSUtil.getNamenodeNameServiceId(conf);    String namenodeId = HAUtil.getNameNodeId(conf, nsId);    initializeGenericKeys(conf, nsId, namenodeId);    checkAllowFormat(conf);    if (UserGroupInformation.isSecurityEnabled()) {      InetSocketAddress socAddr = getAddress(conf);      SecurityUtil.login(conf, DFS_NAMENODE_KEYTAB_FILE_KEY,          DFS_NAMENODE_USER_NAME_KEY, socAddr.getHostName());    }

      第二部分代码如下，主要根据配置文件获取要格式化的目录、存储edits日志的目录等，以及在未指定clusterId的情况生成新的clusterId用于标识命名空间。

/*获取参数dfs.namenode.name.dir设置的目录，该值用于存储fsimage    *默认值为file://${hadoop.tmp.dir}/dfs/name，    *其中hadoop.tmp.dir定义在core-default.xml中，值为/tmp/hadoop-${user.name} */Collection<URI> nameDirsToFormat = FSNamesystem.getNamespaceDirs(conf);/*获取在primary和secondary namenode之间共享的edits目录*相应的参数为dfs.namenode.shared.edits.dir */    List<URI> sharedDirs = FSNamesystem.getSharedEditsDirs(conf);    List<URI> dirsToPrompt = new ArrayList<URI>();    dirsToPrompt.addAll(nameDirsToFormat);dirsToPrompt.addAll(sharedDirs);/*获取保存edits的目录，对应的参数为dfs.namenode.edits.dir*若上面的参数没有配置，则使用与fsimage一致的目录*/    List<URI> editDirsToFormat = FSNamesystem.getNamespaceEditsDirs(conf);    // if clusterID is not provided - see if you can find the current one    String clusterId = StartupOption.FORMAT.getClusterId();    if(clusterId == null || clusterId.equals("")) {      //Generate a new cluster id      clusterId = NNStorage.newClusterID();    }    System.out.println("Formatting using clusterid: " + clusterId);

      最后一部分代码执行了创建fsimage和edits文件的工作，由于这两个文件的创建可以做为单独的源码分析进行，在此就不进行详细地分析，会有专门的文章学习这部分代码。

FSImage fsImage = new FSImage(conf, nameDirsToFormat, editDirsToFormat);    try {      FSNamesystem fsn = new FSNamesystem(conf, fsImage);      fsImage.getEditLog().initJournalsForWrite();      if (!fsImage.confirmFormat(force, isInteractive)) {        return true; // aborted      }      fsImage.format(fsn, clusterId);

      现在已经分析完了执行hdfs namenode –format命令时都执行了哪些操作，其实就是根据配置文件中的特定参数如dfs.namenode.name.dir等，将fsimage和edits文件写入这些目录，而fsimage和edits文件的创建及格式等留待后面分析。

Hadoop2.4.1学习之NameNode format源码分析