Hadoop Speculative Task
来源:互联网 发布:软件项目实施工作总结 编辑:程序博客网 时间:2024/05/17 06:20
在分布式计算环境中,一个job会被拆解为多个task,由于各种软硬件异常,某些task运行速度较慢,拖慢了整个job完成时间
对于这些运行速度较慢的task,Hadoop不会尝试诊断或者修复,而是分析出哪些task运行较慢,针对这些运行较慢的task,启动一些backup的task,我们称之为speculative task,speculative task会与原有task一起运行,哪个task首先执行结束,则使用这个task的结果作为整个job的输出
speculative task并不是在job启动的时候随着task启动,而是在整个job运行一段时间后,判断哪些task落后于整体进度,针对这些task启动speculative task,具体算法参考“Hadoop中Speculative Task 调度策略”
speculative task是一种优化手段,而不是提高任务可靠性的手段,speculative task不能解决程序或者数据本身引发的问题。
在某些情况下,speculative task可以减少任务的运行时间,但是,在集群较忙碌时,speculative task会导致集群throughput下降。
此外,当任务需要和一些外部storage交互时,例如Hbase,启用speculative task会给外部storage带来额外压力,在有修改/更新操作时,有可能导致数据异常。
MapReduce任务有两个参数可以控制Speculative Task:
mapred.map.tasks.speculative.execution: mapper阶段是否开启推测执行
mapred.reduce.tasks.speculative.execution: reducer阶段是否开启推测执行
这两个参数默认都为true
java 应用可以通过如下语句关闭speculative task:
conf.setBoolean("mapred.map.tasks.speculative.execution", false);
conf.setBoolean("mapred.reduce.tasks.speculative.execution", false);
Reference:
Speculative Execution
Hadoop中Speculative Task 调度策略
- Hadoop Speculative Task
- Hadoop 推测式任务 Hadoop Speculative Task
- Hadoop中Speculative Task调度策略
- Hadoop中Speculative Task调度策略
- Hadoop中Speculative Task调度策略
- Hadoop中的Speculative Task调度策略
- Hadoop中Speculative Task调度策略
- Speculative Execution in Hadoop
- Speculative Execution in Hadoop
- HBase MapReduce与Speculative Task
- HBase MapReduce与Speculative Task
- Hadoop Speculative Execution - Hadoop推测执行
- Hadoop 坑爹的Speculative 机制
- Apache Spark调度之Speculative Task机制详细探究
- 【hadoop】task内存设置
- Hadoop–Task 相关
- 【hadoop】task内存设置
- hadoop task的执行
- 图形处理
- vb6.0 倒计时
- 一些注意事项
- C# 构造函数 初始化器(构造器)
- oracle的merge into
- Hadoop Speculative Task
- Apple 企业开发者账号&邓白氏码申请记录
- iOS7新特征汇总[02]新特征介绍2
- Mybatis中的Executor
- 每天学点Linux:二
- 不要在#include中使用".."
- java学习4
- include导致的问题
- VS2010 VS2012版最常用的快捷键