http://blog.csdn.net/yangzhiyouvl/article/details/51494294
来源:互联网 发布:矩阵奇异值计算例题 编辑:程序博客网 时间:2024/06/16 11:39
hadoop之JobTracker,TaskTracker,hadoop调度器
DataNode 和NameNode 是针对数据存放来而言的
JobTracker和TaskTracker是对于MapReduce执行而言的
一:JobTracker
JobTracker协作作业的运行;
负责调度分配每一个子任务task运行于TaskTracker上,如果发现有失败的task就重新分配其任务到其他节点。
一般情况应该把JobTracker部署在单独的机器上。JobTracker与TaskTracker把持心跳;
JobTracker失败:
1:JobTracker失败在所有的失败中是最严重的一种;
2:hadoop没有处理jobtracker失败的机制。--它是一个单点故障。
3:在未来的新版本中可能可以运行多个JobTracker。(hadoop2.0以后)
4:可以使用ZooKeeper来协作JobTracker。(以后会有zookeeper专题)
二:TaskTracker
TaskTracker运行作业划分后的任务
TaskTracker是运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信,接收作业,并负责直接
执行每一个任务,为了减少网络带宽TaskTracker最好运行在HDFS的DataNode上;
TaskTracker失败:
1:一个TaskTracker由于崩溃或运行过于缓慢而失败,它会向JobTracker发送“心跳”。
2:如果有未完成的作业,JobTracker会重新把这些任务分配到其他的TaskTracker上面运行。
3:即使TaskTracker没有失败也可以被JobTracker列入黑名单。
三:hadoop调度器 Hadoop Job Scheduler
Hadoop默认的调度器是基于队列的FIFO调度器:
所有用户的作业都被提交到一个队列中,然后由JobTracker先按照作业的优先级高低,再按照作业提交时间 的先后顺序选择将被执行的作业。
优点: 调度算法简单明了,JobTracker工作负担轻。
缺点: 忽略了不同作业的需求差异。
Fair Scheduler(公平调度器):
1:多个Pool,Job需要被提交到某个Pool中;
2:每个pool可以设置最小 task slot(猜测最小的job数),称为miniShare
3:FS会保证Pool的公平,Pool内部支持Priority(优先级)设置,支持资源抢占(优先级)
阅读全文
0 0
- http://blog.csdn.net/yangzhiyouvl/article/details/51494294
- http://blog.csdn.net/IBM_hoojo/article/details/5688947
- http://blog.csdn.net/chenlaic/article/details/6143235
- http://blog.csdn.net/eaglewood2005/article/details/4335052
- http://blog.csdn.net/mchp/article/details/3995970
- http://blog.csdn.net/v_july_v/article/details/6015165
- http://blog.csdn.net/masterz/article/details/6232585
- http://blog.csdn.net/perfectpdl/article/details/6442847
- http://blog.csdn.net/eroswang/article/details/1967243
- http://blog.csdn.net/zhvsby/article/details/5986645
- http://blog.csdn.net/dz45693/article/details/6183645
- http://blog.csdn.net/david_lv/article/details/5798003
- http://blog.csdn.net/zxingchao2009/article/details/6299313
- http://blog.csdn.net/zhanxinhang/article/details/6783766
- http://blog.csdn.net/ruanruoshi/article/details/935510
- http://blog.csdn.net/yming0221/article/details/6538527
- http://blog.csdn.net/yming0221/article/details/6528490
- http://blog.csdn.net/yming0221/article/details/6704079
- 谷歌卫星地图下载器功能分析
- javascript深入理解js闭包
- 关于多线程读文件
- kong 删除oauth2生成的Token
- 币值转换
- http://blog.csdn.net/yangzhiyouvl/article/details/51494294
- CF 899D Shovel Sell 思维.
- Java源码分析之ArrayList类
- adonet数据库操作函数库
- caffe源码:测试数据,根据已知模型
- 26. Remove Duplicates from Sorted Array
- centos 6.8 + pgsql 9.6 + pldebugger/pldbgapi
- android imageView释放内存
- java基础