Hadoop之JobTracker,TaskTracker,Scheduler
来源:互联网 发布:淘宝卖影视资源 编辑:程序博客网 时间:2024/06/01 19:35
DataNode 和NameNode 是针对数据存放来而言的
JobTracker和TaskTracker是对于MapReduce执行而言的
一:JobTracker
JobTracker协作作业的运行:
负责调度分配每一个子任务task运行于TaskTracker上,如果发现有失败的task就重新分配其任务到其他节点。
一般情况应该把JobTracker部署在单独的机器上。JobTracker与TaskTracker把持心跳;
JobTracker失败:
1:JobTracker失败在所有的失败中是最严重的一种;
2:hadoop没有处理jobtracker失败的机制。--它是一个单点故障。
3:在未来的新版本中可能可以运行多个JobTracker。(hadoop2.0以后)
4:可以使用ZooKeeper来协作JobTracker。(以后会有zookeeper专题)
二:TaskTracker
TaskTracker运行作业划分后的任务
TaskTracker是运行在多个节点上的slaver服务。
TaskTracker主动与JobTracker通信,接收作业,并负责直接
执行每一个任务,为了减少网络带宽TaskTracker最好运行在HDFS的DataNode上;
TaskTracker失败:
1:一个TaskTracker由于崩溃或运行过于缓慢而失败,它会向JobTracker发送“心跳”。
2:如果有未完成的作业,JobTracker会重新把这些任务分配到其他的TaskTracker上面运行。
3:即使TaskTracker没有失败也可以被JobTracker列入黑名单。
三:hadoop调度器 Hadoop Job Scheduler
Hadoop默认的调度器是基于队列的FIFO调度器:
所有用户的作业都被提交到一个队列中,然后由JobTracker先按照作业的优先级高低,再按照作业提交时间的先后顺序选择将被执行的作业。
优点:调度算法简单明了,JobTracker工作负担轻。
缺点:忽略了不同作业的需求差异。
Fair Scheduler(公平调度器):
1:多个Pool,Job需要被提交到某个Pool中;
2:每个pool可以设置最小 task slot(猜测最小的job数),称为miniShare
3:FS会保证Pool的公平,Pool内部支持Priority(优先级)设置,支持资源抢占(优先级)
转自:http://www.cnblogs.com/zhanghuijunjava/archive/2013/04/23/3036497.html
JobTracker和TaskTracker是对于MapReduce执行而言的
一:JobTracker
JobTracker协作作业的运行:
负责调度分配每一个子任务task运行于TaskTracker上,如果发现有失败的task就重新分配其任务到其他节点。
一般情况应该把JobTracker部署在单独的机器上。JobTracker与TaskTracker把持心跳;
JobTracker失败:
1:JobTracker失败在所有的失败中是最严重的一种;
2:hadoop没有处理jobtracker失败的机制。--它是一个单点故障。
3:在未来的新版本中可能可以运行多个JobTracker。(hadoop2.0以后)
4:可以使用ZooKeeper来协作JobTracker。(以后会有zookeeper专题)
二:TaskTracker
TaskTracker运行作业划分后的任务
TaskTracker是运行在多个节点上的slaver服务。
TaskTracker主动与JobTracker通信,接收作业,并负责直接
执行每一个任务,为了减少网络带宽TaskTracker最好运行在HDFS的DataNode上;
TaskTracker失败:
1:一个TaskTracker由于崩溃或运行过于缓慢而失败,它会向JobTracker发送“心跳”。
2:如果有未完成的作业,JobTracker会重新把这些任务分配到其他的TaskTracker上面运行。
3:即使TaskTracker没有失败也可以被JobTracker列入黑名单。
三:hadoop调度器 Hadoop Job Scheduler
Hadoop默认的调度器是基于队列的FIFO调度器:
所有用户的作业都被提交到一个队列中,然后由JobTracker先按照作业的优先级高低,再按照作业提交时间的先后顺序选择将被执行的作业。
优点:调度算法简单明了,JobTracker工作负担轻。
缺点:忽略了不同作业的需求差异。
Fair Scheduler(公平调度器):
1:多个Pool,Job需要被提交到某个Pool中;
2:每个pool可以设置最小 task slot(猜测最小的job数),称为miniShare
3:FS会保证Pool的公平,Pool内部支持Priority(优先级)设置,支持资源抢占(优先级)
转自:http://www.cnblogs.com/zhanghuijunjava/archive/2013/04/23/3036497.html
0 0
- Hadoop之JobTracker,TaskTracker,Scheduler
- hadoop之JobTracker,TaskTracker,hadoop调度器
- hadoop之JobTracker,TaskTracker,hadoop调度器
- Hadoop JobTracker和TaskTracker
- hadoop jobtracker与tasktracker
- HADOOP MR架构分析 JobTracker 和 TaskTracker
- Hadoop jobTracker taskTracker 与task 的联系
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、SecondaryNameNode、JobTracker 、TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- Hadoop源码之TaskTracker
- Hadoop源码之JobTracker
- iOS 生成带 logo 的二维码,区域截屏保存至相册(小功能二连发 (一))
- 系统架构设计理论与原则、负载均衡及高可用系统设计速记
- css3 loading组件
- Hadoop Map-Reduce入门学习
- solr常见异常解决办法
- Hadoop之JobTracker,TaskTracker,Scheduler
- Hadoop之MapReduce输入(split)输出
- EJB到底是什么,真的那么神秘吗??
- 欢迎使用CSDN-markdown编辑器
- 判断exec是否执行成功的思路
- Hadoop 配置文件解析
- Hadoop之MapReduce WordCount详细分析
- Java中的异常处理:何时抛出异常,何时捕获异常?
- Hadoop 之shuffle