hadoop之JobTracker,TaskTracker,hadoop调度器
来源:互联网 发布:淘宝店铺宝贝详情教程 编辑:程序博客网 时间:2024/06/05 10:37
DataNode 和NameNode 是针对数据存放来而言的
JobTracker和TaskTracker是对于MapReduce执行而言的
一:JobTracker
JobTracker协作作业的运行;
负责调度分配每一个子任务task运行于TaskTracker上,如果发现有失败的task就重新分配其任务到其他节点。
一般情况应该把JobTracker部署在单独的机器上。JobTracker与TaskTracker把持心跳;
JobTracker失败:
1:JobTracker失败在所有的失败中是最严重的一种;
2:hadoop没有处理jobtracker失败的机制。--它是一个单点故障。
3:在未来的新版本中可能可以运行多个JobTracker。(hadoop2.0以后)
4:可以使用ZooKeeper来协作JobTracker。(以后会有zookeeper专题)
二:TaskTracker
TaskTracker运行作业划分后的任务
TaskTracker是运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信,接收作业,并负责直接
执行每一个任务,为了减少网络带宽TaskTracker最好运行在HDFS的DataNode上;
TaskTracker失败:
1:一个TaskTracker由于崩溃或运行过于缓慢而失败,它会向JobTracker发送“心跳”。
2:如果有未完成的作业,JobTracker会重新把这些任务分配到其他的TaskTracker上面运行。
3:即使TaskTracker没有失败也可以被JobTracker列入黑名单。
三:hadoop调度器 Hadoop Job Scheduler
Hadoop默认的调度器是基于队列的FIFO调度器:
所有用户的作业都被提交到一个队列中,然后由JobTracker先按照作业的优先级高低,再按照作业提交时间 的先后顺序选择将被执行的作业。
优点: 调度算法简单明了,JobTracker工作负担轻。
缺点: 忽略了不同作业的需求差异。
Fair Scheduler(公平调度器):
1:多个Pool,Job需要被提交到某个Pool中;
2:每个pool可以设置最小 task slot(猜测最小的job数),称为miniShare
3:FS会保证Pool的公平,Pool内部支持Priority(优先级)设置,支持资源抢占(优先级)
0 0
- hadoop之JobTracker,TaskTracker,hadoop调度器
- hadoop之JobTracker,TaskTracker,hadoop调度器
- Hadoop之JobTracker,TaskTracker,Scheduler
- Hadoop JobTracker和TaskTracker
- hadoop jobtracker与tasktracker
- hadoop作业调度详解之TaskTracker
- hadoop作业调度详解之JobTracker
- HADOOP MR架构分析 JobTracker 和 TaskTracker
- Hadoop jobTracker taskTracker 与task 的联系
- Hadoop源码之TaskTracker
- Hadoop源码之JobTracker
- Hadoop源码之JobTracker
- Hadoop JobTracker之ExpireLaunchingTasks
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、SecondaryNameNode、JobTracker 、TaskTracker介绍
- Python多个Decorator装饰器的使用
- 2014年第五届蓝桥杯C/C++程序设计本科B组省赛 打印图形
- HTML5基础加强css样式篇(盒子阴影属性:box-shadow)(三十六)
- 求0-1背包方案数
- 电路设计_e-MMC
- hadoop之JobTracker,TaskTracker,hadoop调度器
- 二次装修的注意事项
- 排序算法,java
- 建造者模式
- Hibernate框架的了解
- Ubuntu下boot分区剩余空间不足解决
- new的用法
- Android设置沉浸式状态栏和Material主题
- asp.net js方法互调 asp.net 前台如何调用后台方法