MapReduce总体架构分析
来源:互联网 发布:mac清理垃圾的软件 编辑:程序博客网 时间:2024/04/29 09:23
继前段时间分析Redis源码一段时间之后,我即将开始接下来的一段技术学习的征程,研究的技术就是当前非常火热的Hadoop,但是一个Hadoop生态圈是非常庞大的,所以首先我的打算是挑选其中的一部分模块,去学习,研究,我就选中了MapReduce。MapReduce最早是由Google公司在04年发布的论文中提出的一种思想,后来被人实现出来,才有了后面的Hadoop的诞生。学习MapReduce的打算一定不会如Redis源码学习一样,我只会挑出其中一些用的比较多的过程分析,希望能理解的更深吧。跟上次一样,学习一门技术,首先要了解整体,所以我对Hadoop的MapReduce也做了结构分类。首先是一个图形化的标示形式,用关系类图做出的一张图:
内容会比较多,下面给出我花了个把小时整理出的文字功能描述分类,结合图片和文字,理解效果会更好:
MapReduce源码分析(主要四大模块,others表示父目录下的.java文件的总称):
1.org.apache.hadoop.mapred(旧版MapReduceAPI):
(1).jobcontrol(job作业直接控制类)
(2).join:(job作业中用于模仿数据连接处理操作工具)
(3).lib(MapReduce所依赖的工具方法)
|----(1).aggregate(用于数据聚合处理的文件)
|----(2).db(数据库操作相关文件)
|----(3).others
(4).pipes(Hadoop MapReduce的C++接口代称)
(5).tools(就包含了一个MRAdmin文件,用于连接connect操作,新版本中已无此文件)
(6).others
2.org.apache.hadoop.mapreduce(新版MapReduceAPI):
(1).example(存放运行Hadoop作业的例子)
(2).lib(新版MapReduce所依赖的工具方法):
|----(1).aggregate(用于数据聚合处理的文件)
|----(2).db(数据库操作相关文件)
|----(3).others
(3).security(Hadoop1.0版本中新添加的关于安全方面的代码)
|----(1).token(用于安全检测的token验证)
| |----(1).delegation(token目录下的代理,委派token)
| |----(2).others
|----(2).others
(4).server(Hadoop服务端的功能,主要包括jobTracker,taskTracker)
|----(1).jobtracker(任务调度Tracker)
|----(2).tasktracker(任务执行Tracker)
|----(1).userlogs(任务执行的用户日志记录模块)
|----(2).others
(5).split(用于作业job的分割处理类)
(6).others
3.org.apache.hadoop.filecache(文件缓存,用于文件分发):
(1).DistributedCache.java(将job指定的文件,在job执行前,先行分发到task执行的机器上)
(2).TaskDistributedCacheManager.java(即Job ID、Job Conf即配置参数、Job配置文件路径、该Job包含的任务集合(当前TaskTracker内的)以及一些用户权限等信息)
(3).TrackerDistributedCacheManager.java(,用来管理该机器上所有task的cache文件)
4.org.apache.hadoop---mapreduce-default.xml:
主目录下的MapReduce的默认文件,包括地址端口号等的配置。
上述的所有内容都是我经过总结所得,难免会有所错误,希望大家能从整体上首先掌握MapReduce的架构体系,好逐一击破,有问题可以直接评论指出,后续我分析过的代码会定时同步到我的github上,地址: https://github.com/linyiqun
- MapReduce总体架构分析
- ceph总体架构分析
- Mybatis总体架构分析
- Binder总体架构分析
- Tomcat源码分析--总体架构
- Hessian源码分析--总体架构
- Activiti之《总体架构分析》
- jQuery源码分析-01总体架构
- [StageFright分析] StageFright的总体架构
- jQuery源码分析-01总体架构
- jQuery源码分析-01总体架构
- jQuery源码分析-01总体架构
- web服务器总体架构------分析1
- 关于企业应用架构模式总体分析
- flume源码分析一:总体架构
- jquery源码分析之总体架构
- 总体架构
- Yarn源代码分析之旅---总体架构---概述与总体架构
- 平凡的开始
- VF(简单)
- 风河从VxWorks5.5到VxWorks6.6介绍,破解
- usb device over current status detected
- General Type Categories_Learning Python
- MapReduce总体架构分析
- 循环赛日程表(递归法)
- sort命令
- Java字符串替换方法
- 在内网架设一个可供外网登录的ftp服务器
- PhpStorm8.0 命名空间设置 PSR-4
- 好纠结,写什么好了!前端工作笔记
- XML与HTML
- hdu 3401 单调队列+DP