Hadoop Speculative Execution - Hadoop推测执行
来源:互联网 发布:盗墓笔记录像 知乎 编辑:程序博客网 时间:2024/05/17 08:15
1.推测执行
所谓的推测执行,就是当所有task都开始运行之后,Job Tracker会统计所有任务的平均进度,如果某个task所在的机器配置比较低或者CPU load很高(原因很多),导致任务执行比总体任务的平均执行要慢,此时Job Tracker会启动一个新的任务(duplicate task),原有任务和新任务(一个task会有多个attempt同时执行)哪个先执行完就把另外一个kill掉,这也是我们经常在Job Tracker页面看到任务执行成功,但是总有些任务被kill,就是这个原因。另外,根据Hadoop的特点,同一个task执行多次的结果是一样的,所以task只要有一次执行成功,job就是成功的,被kill的task对job的结果没有影响。
2.推测执行的配置
配置参数:
mapred.map.tasks.speculative.execution=true
mapred.reduce.tasks.speculative.execution=true
这两个是推测执行的配置项,当然如果你从来不关心这两个选项也没关系,它们默认值是true
转载url:http://blog.csdn.net/macyang/article/details/7880671
0 0
- Hadoop Speculative Execution - Hadoop推测执行
- hive推测执行(speculative execution)
- Speculative Execution in Hadoop
- Speculative Execution in Hadoop
- Hadoop 推测式任务 Hadoop Speculative Task
- M/R推测性的执行(Speculative execution)
- Hadoop之推测执行
- Hadoop Speculative Task
- Hadoop推测执行(以空间换取时间)
- Hadoop中Speculative Task调度策略
- Hadoop中Speculative Task调度策略
- Hadoop中Speculative Task调度策略
- Hadoop 坑爹的Speculative 机制
- Hadoop中的Speculative Task调度策略
- Hadoop中Speculative Task调度策略
- 推测的删除锁(Speculative Lock Elision):实现高并发多线程执行
- Distributed Hadoop Execution
- Hadoop执行DistributedGrep
- 了解如何重新定义你的公司在2014年
- Android 服务
- hdu1406
- POJ 3159 Candies(SPFA+栈)差分约束
- 两个最好的福邦手机评测
- Hadoop Speculative Execution - Hadoop推测执行
- android.os.NetworkOnMainThreadException异常的解决方法
- 鲇鱼中国字典 - 鲇鱼2.2的iOS使用OCR最新版本的iPhone iPod的iPad的软
- 领导力的销售和运营PlanningIntegrated业务计划中的作用
- 撕掉美女衣服安卓游戏开发(GridView实现画廊效果,带注释)
- usb-host与外设通信(三)
- static (转载自百度知道)
- 那里的东西为Android开发者在Android的奇巧API开发
- lower_bound(),