Hadoop0.21.0源码流程分析(1)-客户端提交作业

 

•  流程图

 

•  函数调用关系图

•   JobConf

         JobConf类继承org.apache.hadoop.conf.Configuration类，所有客户端程序中配置的信息和其他运行信息，都会保存在这个类里。

 

• JobClient

        JobClient.runJob(job)静态方法会实例化一个JobClient实例,然后用此实例的submitJob(conf)方法向 master提交作业。此方法会返回一个RunningJob对象，它用来跟踪作业的状态。作业提交完毕后，JobClient会根据此对象开始轮询作业的进度，直到作业完成。

submitJob(conf)内部是通过submitJobInternal(job)方法完成实质性的作业提交。  submitJobInternal(job)方法首先会向hadoop分布系统文件系统hdfs依次上传三个文件: job.jar, job.split和job.xml。

job.xml: 作业配置，例如Mapper, Combiner, Reducer的类型，输入输出格式的类型等。

job.jar: jar包,里面包含了执行此任务需要的各种类，比如 Mapper,Reducer等实现。

job.split: 文件分块的相关信息，比如有数据分多少个块，块的大小(默认64m)等。

         写完这三个文件之后, 此方法会通过RPC调用master节点上的JobTracker. submitJob( )方法，此时作业已经提交完成。

         JobClient里面使用使用RPC机制来构造一个实现 JobSubmissionProtocol接口的JobTracker的代理，然后利用远程发放直接执行JobTracker里的submitJob。

 

• JobTracker

         JobClient提交job后，JobTracker会创建一个JobInProgress来跟踪和调度这个job，并把它添加到job队列里。JobInProgress会根据提交的job jar中定义的输入数据集（已分解成FileSplit）创建对应的一批TaskInProgress用于监控和调度MapTask和ReduceTask。