Hadoop安全模式的理解

安全模式异常：

在hadoop的实践过程中，系统启动的时候去修改和删除文件有时候会报以下错误：

org.apache.hadoop.dfs.SafeModeException: Cannotdelete/user/hadoop/input. Name node is in safe mode.从字面上来理解：“Name nodeis in safe mode.”hadoop的namenode处于安全模式。

出现上述现象由于NameNode在启动的时候首先进入安全模式。

安全模式启动过程：

当 Hadoop的NameNode节点启动时，会进入安全模式阶段。在此阶段，DataNode会向NameNode上传它们数据块的列表，让 NameNode得到块的位置信息，并对每个文件对应的数据块副本进行统计。当最小副本条件满足时，即一定比例的数据块都达到最小副本数，系统就会退出安全模式，而这需要一定的延迟时间。当最小副本条件未达到要求时，就会对副本数不足的数据块安排DataNode进行复制，直至达到最小副本数。而在安全模式下，系统会处于只读状态，NameNode不会处理任何块的复制和删除命令。

安全模式相关属性的设置：

安全模式的相关属性都在文件conf/hdfs-site.xml中指定，有如下几个：

dfs.replication.min  指定数据块要达到的最小副本数，默认为1；

dfs.safemode.extension   指定系统退出安全模式时需要的延迟时间，默认为30(秒)；

dfs.safemode.threshold.pct 指定退出条件，需要达到最小副本数的数据块比例，1.0.3中默认是0.95

安全模式常用命令：

hadoop dfsadmin-safemode 命令

格式：Usage: java DFSAdmin [-safemode enter | leave | get |wait]

用户可以通过dfsadmin -safemode value来操作安全模式，参数value的说明如下：

enter - 进入安全模式

leave - 强制NameNode离开安全模式

get  - 返回安全模式是否开启的信息

wait  - 等待，一直到安全模式结束。

hadoop dfsadmin -safemode 命令的源码解析：

dfsadmin的命令实现类org.apache.hadoop.hdfs.tools. DFSAdmin

安全模式命令用法：

Usage: java DFSAdmin [-safemode enter | leave | get | wait]

实现类DFSAdmin中主要处理的安全模式的命令的方法是setSafeMode核心处理逻辑为：

DistributedFileSystem dfs = (DistributedFileSystem) fs;

boolean inSafeMode = dfs.setSafeMode(action);

DFSAdmin à DistributedFileSystemà DFSClientà ClientProtocol的实现类NameNodeàFSNamesystem.

核心代码：

  boolean setSafeMode(SafeModeAction action) throwsIOException {

    if (action != SafeModeAction.SAFEMODE_GET) {

      checkSuperuserPrivilege();

      switch(action) {

      case SAFEMODE_LEAVE: // leave safe mode

        leaveSafeMode(false);

        break;

      case SAFEMODE_ENTER: // enter safe mode

        enterSafeMode();

        break;

      }

    }

    return isInSafeMode();

  }

安全模式的实现由FSNamesystem的内部类：SafeModeInfo实现的。监控安全模式的是SafeModeMonitor内部类。

该类包含了安全模式的相关信息。当namenode进入安全模式时，将创建SafeModeInfo实例。在namenode启动的时候，SafeModeInfo计算safe blocks，即这blocks至少有冗余的数量，并计算safe blocks在所有blocks的比例也就是FSNamesystem#blocksMap的大小。当比例达到阈值threshold，将启动 SafeModeMonitor后台进程监控安全模式是否已经过去。当过去时，hadoop集群将离开安全模式，并销毁自己。

FSNamesystem的初始化时initialize进入安全模式

this.safeMode = new SafeModeInfo(conf);

在启动时创建SafeModeInfo实例时，其参数如下:

this.threshold =conf.getFloat("dfs.safemode.threshold.pct", 0.95f);

    this.extension =conf.getInt("dfs.safemode.extension", 0);

this.safeReplication =conf.getInt("dfs.replication.min", 1);

//namenode启动时创建SafeModeInfo实例

    SafeModeInfo(Configuration conf) {

      this.threshold =conf.getFloat("dfs.safemode.threshold.pct", 0.95f);

      this.extension =conf.getInt("dfs.safemode.extension", 0);

      this.safeReplication =conf.getInt("dfs.replication.min", 1);

      this.blockTotal = 0;

      this.blockSafe = 0;

    }

//手动进入安全模式的实例构造方法

    private SafeModeInfo() {

      this.threshold = 1.5f;  //this threshold can never be reached

      this.extension = Integer.MAX_VALUE;

      this.safeReplication = Short.MAX_VALUE +1; // more than maxReplication

      this.blockTotal = -1;

      this.blockSafe = -1;

      this.reached = -1;

      enter();

      reportStatus("STATE* Safe mode isON.", true);

    }

//手动触发的方法入口如下：

  synchronized void enterSafeMode() throws IOException {

    if (!isInSafeMode()) {

      safeMode = new SafeModeInfo();

      return;

    }

    safeMode.setManual();

    getEditLog().logSync();

    NameNode.stateChangeLog.info("STATE* Safe modeis ON. "

                              + safeMode.getTurnOffTip());

  }

SafeModeMonitor安全模式监控类，1000毫秒监控状态。

核心代码：

public void run() {

      while (fsRunning && (safeMode !=null && !safeMode.canLeave())) {

        try {

         Thread.sleep(recheckInterval);

        } catch(InterruptedException ie) {

        }

      }

      // leave safe mode and stop the monitor

      try {

        leaveSafeMode(true);

      } catch(SafeModeException es) { //should never happen

        String msg ="SafeModeMonitor may not run during distributed upgrade.";

        assert false : msg;

        throw newRuntimeException(msg, es);

      }

      smmthread = null;

    }

冗余模块的复制处理过程：核心处理方法processMisReplicatedBlocks