Hadoop 推测式任务 Hadoop Speculative Task
来源:互联网 发布:telnet ip 端口 linux 编辑:程序博客网 时间:2024/05/17 19:21
转:http://blog.csdn.net/yfkiss/article/details/10589137
在分布式计算环境中,一个job会被拆解为多个task,由于各种软硬件异常,某些task运行速度较慢,拖慢了整个job完成时间
对于这些运行速度较慢的task,Hadoop不会尝试诊断或者修复,而是分析出哪些task运行较慢,针对这些运行较慢的task,启动一些backup的task,我们称之为speculative task,speculative task会与原有task一起运行,哪个task首先执行结束,则使用这个task的结果作为整个job的输出
speculative task并不是在job启动的时候随着task启动,而是在整个job运行一段时间后,判断哪些task落后于整体进度,针对这些task启动speculative task,具体算法参考“Hadoop中Speculative Task 调度策略”
speculative task是一种优化手段,而不是提高任务可靠性的手段,speculative task不能解决程序或者数据本身引发的问题。
在某些情况下,speculative task可以减少任务的运行时间,但是,在集群较忙碌时,speculative task会导致集群throughput下降。
此外,当任务需要和一些外部storage交互时,例如Hbase,启用speculative task会给外部storage带来额外压力,在有修改/更新操作时,有可能导致数据异常。
MapReduce任务有两个参数可以控制Speculative Task:
mapred.map.tasks.speculative.execution: mapper阶段是否开启推测执行
mapred.reduce.tasks.speculative.execution: reducer阶段是否开启推测执行
这两个参数默认都为true
java 应用可以通过如下语句关闭speculative task:
conf.setBoolean("mapred.map.tasks.speculative.execution", false);
conf.setBoolean("mapred.reduce.tasks.speculative.execution", false);
- Hadoop 推测式任务 Hadoop Speculative Task
- Hadoop Speculative Task
- Hadoop Speculative Execution - Hadoop推测执行
- Hadoop中Speculative Task调度策略
- Hadoop中Speculative Task调度策略
- Hadoop中Speculative Task调度策略
- Hadoop中的Speculative Task调度策略
- Hadoop中Speculative Task调度策略
- Speculative Execution in Hadoop
- Speculative Execution in Hadoop
- Hadoop之推测执行
- Hadoop 之failed task任务和killed task任务
- hadoop之failed task任务和killed task任务
- Hadoop Map Reduce Task默认任务数调优
- Hadoop 坑爹的Speculative 机制
- Hadoop中作业(job)、任务(task)和task attempt
- hive推测执行(speculative execution)
- Hadoop源码流程分析4-Task节点执行任务
- 带返回值的函数如果没有写全返回路径,这时的返回值系统由AX寄存器值确定
- u-boot-2014.10移植到s3c2416处理器添加文件分析
- 第17周周一
- LeetCode-Maximal Square-解题报告
- UVa 11210 Chinee Mahjong 中国麻将
- Hadoop 推测式任务 Hadoop Speculative Task
- Masonry介绍与使用实践(快速上手Autolayout)
- 去除win7 64位系统的快捷方式小箭头
- getContextPath、getServletPath、getRequestURI的区别
- 深入理解Spring AOP之基本概念
- 链表题目集合
- 如何自定义菜单(点击菜单键,弹出一个popwindow)
- ubutu 一些命令
- Docker的save和export命令的区别