JobTracker节点后台线程之RetireJobs

来源：互联网发布：江西网络干部学院 app 编辑：程序博客网时间：2024/05/23 15:57

参考：http://blog.csdn.net/xhh198781/article/details/7342282

Hadoop中的用户作业在其整个生命周期中有5个状态，它们分别是：PREP、RUNNING、SUCCEEDED、FAILED、KILLED，而这其中的SUCCEEDED、FAILED、KILLED三个状态是互斥的，都可看做是Job的完成状态。当用户成功的提交了一个Job之后，这个Job就会进入PREP状态，然后这个Job的map启动任务会被首先交给一个TaskTracker节点来完成，当这个任务被成功执行之后，Job就会进入RUNNING状态，最后随着Job的map任务和reduce任务的完成状态，Job进入FAILED或SUCCEEDED或KILLED中的某一个状态，这个状态图如下：

当一个作业处于完成状态之后，JobTracker节点的任务调度器就不需要再考虑该Job了，也就是JobTracker需要把该Job从作业队列中删除。但是，JobTracker节点并不是马上就把与这个Job相关的信息删除掉，而是先把它缓存起来，同时建立一个用户与Job的映射，这个用户是指提交该作业的用户。至于JobTracker为什么会这么做，笔者目前也没有完全弄明白，推测可能与用户作业历史记录有关，也或者和集群的负载统计有关(如果有朋友知道这其中的原因可以@我)。当然这里可能有一个问题就是，JobTracker节点是否一直会缓存这些已完成Job的信息呢？实际上是不会的，因为JobTracker节点为每一个缓存的已完成Job信息设置了一个生命周期，当过了这个生命周期，这个缓存信息就会被清除掉。这个清理工作被设计成了JobTracker节点的一个组件——RetireJobs，这个RetireJobs作为JobTracker节点的后台线程，会定时的检测每一个缓存的已完成Job信息的生存时间是够已过期，如果过期了，他就会被清除。这个检查的间隔时间为RETIRE_JOB_CHECK_INTERVAL ms，默认值是60000，但也可通过配置文件来设置，对应的配置项为：mapred.jobtracker.retirejob.check。而每一个已完成Job信息的生存时间为RETIRE_JOB_INTERVAL ms，它的默认值24*60*60*1000，当然也可以通过配置文件来设置，对应的配置项为：mapred.jobtracker.retirejob.interval。这个过程的具体源码如下：

[java] view plaincopy
static final int MIN_TIME_BEFORE_RETIRE = 60000;  
  
public void run() {  
    while (true) {  
      try {  
        Thread.sleep(RETIRE_JOB_CHECK_INTERVAL);  
        List<JobInProgress> retiredJobs = new ArrayList<JobInProgress>();  
        long now = System.currentTimeMillis();  
        long retireBefore = now - RETIRE_JOB_INTERVAL;  
  
        synchronized (jobs) {  
          for(JobInProgress job: jobs.values()) {  
            if (job.getStatus().getRunState() != JobStatus.RUNNING &&  
                job.getStatus().getRunState() != JobStatus.PREP &&  
                (job.getFinishTime() + MIN_TIME_BEFORE_RETIRE < now) &&  
                (job.getFinishTime()  < retireBefore)) {  
              retiredJobs.add(job);  
            }  
          }  
        }  
          
        if (!retiredJobs.isEmpty()) {  
          synchronized (JobTracker.this) {  
            synchronized (jobs) {  
              synchronized (taskScheduler) {  
                for (JobInProgress job: retiredJobs) {  
                  removeJobTasks(job);  
                  jobs.remove(job.getProfile().getJobID());  
                  for (JobInProgressListener l : jobInProgressListeners) {  
                    l.jobRemoved(job);  
                  }  
                  String jobUser = job.getProfile().getUser();  
                  synchronized (userToJobsMap) {  
                    ArrayList<JobInProgress> userJobs =  userToJobsMap.get(jobUser);  
                    synchronized (userJobs) {  
                      userJobs.remove(job);  
                    }  
                    if (userJobs.isEmpty()) {  
                      userToJobsMap.remove(jobUser);  
                    }  
                  }  
                  LOG.info("Retired job with id: '" + job.getProfile().getJobID() + "' of user '" + jobUser + "'");  
  
                  // clean up job files from the local disk  
                  JobHistory.JobInfo.cleanupJob(job.getProfile().getJobID());  
                }  
              }  
            }  
          }  
        }  
      } catch (InterruptedException t) {  
        break;  
      } catch (Throwable t) {  
        LOG.error("Error in retiring job:\n" + StringUtils.stringifyException(t));  
      }  
    }  
      
    LOG.debug("Job Retire Thread is to stop..");  
}  

但是，JobTracker节点的资源是有限的，如果某一个用户频繁的提交Job，那么这个用户对应的已完成Job信息缓存会占用大量的系统资源，所以JobTracker节点又设计了另一个检测机制，就是当一个作业完成时，它会判断这个Job对应的提交用户缓存的已完成Job信息的数量有没有达到一个阈值MAX_COMPLETE_USER_JOBS_IN_MEMORY，如果达到了这个阈值的话，就会删除他的所有缓存时间超过 MIN_TIME_BEFORE_RETIRE ms的已完成Job信息，直到这个用户缓存的已完成Job信息的数量下降到这个阈值。MAX_COMPLETE_USER_JOBS_IN_MEMORY可以通过配置文件来配置，对应的配置项为：mapred.jobtracker.completeuserjobs.maxinum，但它的默认值是100。

0 0