HADOOP MR架构分析 JobTracker 和 TaskTracker
来源:互联网 发布:手机淘宝运营介绍 编辑:程序博客网 时间:2024/06/04 19:06
HADOOP 中 MR架构 是基于网络的架构。其中有两个比较重要的类:JobTracker 和 TaskTracker,JobTracker 和 TaskTracker 是一对多的关系, 多个 TaskTracker主动地向JobTracker发送请求(称作heartbeat),JobTracker接收到请求后,要完成一个最重要的工作就是为该TaskTracker分配一个actions列表,这里面包含了该TaskTracker需要执行的任务(task)集合。
TaskTracker接收到这个action列表时,会调用TaskLauncher的方法把task加入到tasksToLaunch这个list中。
TaskLauncher是一个线程,会不断处理tasksToLaunch这个llist。通过创建TaskRunner这个线程,TaskRunner则要委派JvmManager执行,JvmManager分析是否需要启动新的JVM,还是沿用处于空闲状态的JVM来启动这个任务。最后会交给UNIXProcess这个java.lang.Process的类来真正运行Task。
TaskRunner比较重要,要准备JVM运行的一些参数vmargs:
java路径,
mapred.child.java.opts 参数值
-Djava.library.path
-Djava.io.tmpdir
log4j的一些参数
org.apache.hadoop.mapred.Child(main class)
VM Environment
TaskTracker接收到这个action列表时,会调用TaskLauncher的方法把task加入到tasksToLaunch这个list中。
TaskLauncher是一个线程,会不断处理tasksToLaunch这个llist。通过创建TaskRunner这个线程,TaskRunner则要委派JvmManager执行,JvmManager分析是否需要启动新的JVM,还是沿用处于空闲状态的JVM来启动这个任务。最后会交给UNIXProcess这个java.lang.Process的类来真正运行Task。
TaskRunner比较重要,要准备JVM运行的一些参数vmargs:
java路径,
mapred.child.java.opts 参数值
-Djava.library.path
-Djava.io.tmpdir
log4j的一些参数
org.apache.hadoop.mapred.Child(main class)
VM Environment
一个Job被提交后,会有一个JobInProgress与之对应,JobInProgress会被分割成多个任务(task),并被初始化,这要通过读取一个配置项{job.splitmetainfo}对应的文件得到,而这个job分割元数据文件是在JobClient提交job时,通过writeSplit()计算出来的。
NIXProcess调用系统bash程序,以org.apache.hadoop.mapred.Child为Mainclass来执行。
Child会根据Task的类型执行MapTask和ReduceTask, 并借助Reflection来调用用户自定义的Mapper类,但用户自定义的Reducer类是直接调用的。- HADOOP MR架构分析 JobTracker 和 TaskTracker
- Hadoop JobTracker和TaskTracker
- hadoop jobtracker与tasktracker
- Hadoop集群中JobTracker和TaskTracker启动耗时过多的原因分析
- JobTracker和TaskTracker
- JobTracker和TaskTracker
- JobTracker和TaskTracker
- JobTracker和TaskTracker概述
- JobTracker和TaskTracker
- JobTracker和TaskTracker详解
- JobTracker和TaskTracker概述
- JobTracker和TaskTracker
- JobTracker和TaskTracker
- JobTracker和TaskTracker
- JobTracker和TaskTracker概述
- JobTracker和TaskTracker
- Hadoop之JobTracker,TaskTracker,Scheduler
- taskTracker和jobTracker 启动失败
- 转载_SHELL 文件读取
- USB通信过程
- hibernate-generic-dao介绍
- 我爱天文 - 星星有多亮?
- 学习XML的一些不错的资源(整理中)
- HADOOP MR架构分析 JobTracker 和 TaskTracker
- 提示信息框(MessageBox)的应用
- 代码运行时间计算
- OpenCV_连通区域分析与标记(Connected Component Analysis-Labeling)
- Imageview在部分机器上oppo find 5等系列高分辨率机器上缩小的Bug解决
- Linux环境下NFS文件系统的简单搭建过程
- 如何使用FFMPEG+H264实现RTP传输数据
- 黑马程序员---------父类,子类
- php中cookie数组创建以及使用,cookie的删除