Hadoop源码之我见--MapReduce部分(一)--Job类
来源:互联网 发布:观韬中茂律师所 知乎 编辑:程序博客网 时间:2024/05/18 01:19
为了不遗忘和可以速查源码,准备重新读一遍Hadoop的MapReduce部分的源码,记录下来,尽量详细点。如要转载,请标明出处。
写MapReduce程序首先接触的是Job类,Job类是管理一个集群作业的类,包含了一个作业的所有信息和向集群提交作业的方法。
如图所示,它有以上一些方法,我们写程序是调用waitForCompletion()方法,方法实现如下:
它调用了submit向集群提交作业,下面看下submit()方法:
jobClient是在初始化时候建立的。
JobClient类 建立了一个代理,用于连接JobTracker(集群上的master结点),
这个代理会检查mapred.job.tracker 这个属性有没有建立,默认值是local,如果建立了,则建立一个连接JobTracker的代理。这个代理负责上传作业的配置和作业内容到集群中。
发现他实现了JobSubmissionProtocol接口的一个对象
总之,Job类使用了一个实现了JobSubmissionProtocol接口的一个代理,这个代理对象可以用来和集群通信,job类的一些方法也可以用来帮助我们对集群和任务的进展情况进行查看。
- Hadoop源码之我见--MapReduce部分(一)--Job类
- Hadoop源码之我见--MapReduce部分(二)--RPC调用接口
- [Hadoop源码解读]之MapReduce篇之Job类
- [Hadoop源码解读](三)MapReduce篇之Job类
- [Hadoop源码解读](三)MapReduce篇之Job类
- [Hadoop源码解读](三)MapReduce篇之Job类
- [Hadoop源码解读](三)MapReduce篇之Job类
- [Hadoop源码解读](三)MapReduce篇之Job类
- [Hadoop源码解读](三)MapReduce篇之Job类
- [Hadoop源码解读](三)MapReduce篇之Job类
- [Hadoop源码解读](三)MapReduce篇之Job类<转>
- [Hadoop源码解读](三)MapReduce篇之Job类 (转)
- hadoop源码分析之MapReduce(一)
- hadoop 之源码 job
- Hadoop实战之链接MapReduce Job
- hadoop源码之Job提交
- [Hadoop源码解读](一)MapReduce篇之InputFormat
- [Hadoop源码解读](一)MapReduce篇之InputFormat
- Qt编程点滴
- 按生活去思想,还是按照思想去生活?
- WiFi设备的区域性要求
- VS2010 编译QT 4.7.1 静态库(lib)
- 删除页眉横线
- Hadoop源码之我见--MapReduce部分(一)--Job类
- Eclipse 3.4+ Dropins方式安装插件
- DIV+CSS容易犯的十个错误
- Linux USB驅動框架分析
- 欢迎大家
- 程序员基础 MySQL数据库开发必备常识
- How to create physical standby database with 11g RMAN DUPLICATE FROM ACTIVE DATABASE [ID 747250.1]
- 学会孤单
- 【转】如何保护.net中的dll文件(防破解、反编译)