为什么Hadoop集群中机器台数多反而执行速度慢?
来源:互联网 发布:易碎贴纸淘宝 编辑:程序博客网 时间:2024/05/01 00:49
为什么Hadoop集群中机器台数多反而执行速度慢?
分类: hadoop2012-12-16 23:24 119人阅读 评论(0) 收藏 举报
这里我对这个现象给出解释。由于水平有限,发现错误,请及时留言,或站内和我联系。
这里假设集群中有slave1,slave2,slave3三个节点,其中slave3工作效率低。
一共有6个任务,需要去做,slave1和slave2执行一个任务是1分钟,slave3执行一个任务是2分钟。有一个前提是每个slave完成自身的任务才回去推测执行。
如果让slave1和slave2去做,则需要3分钟,分析如下:
slave1 slave2
3 3
3*1 3*1
并行执行总时间就是单个slave的执行时间3;
那么三台同时去做需要4分钟。
slave1 slave2 slave3
2 2 2
这里slave1和slave2都完成了自身的任务,已经花费了2分钟,剩下最后一个任务考虑到数据的本地性也分给了slave3,slave3执行时间超过一分钟时,jobtracker会觉得slave3可能没有能力完成分配给他的任务,假设在slave1上推测执行,结果slave3结束了,就将运行在slave1上的推测执行任务kill掉,最后执行时间是4秒。
因为在推测执行的时候会两个推测执行的任务会同时完成。
- 为什么Hadoop集群中机器台数多反而执行速度慢?
- 为什么Hadoop集群中机器台数多反而执行速度慢?
- Matlab中的程序执行速度为什么很慢?
- curl_exec执行速度慢
- hadoop集群中某一台机器shutdown
- 在Hadoop集群中添加机器和删除机器
- Hadoop集群中添加机器和删除机器
- 在Hadoop集群中添加机器和删除机器
- csdn...为什么速度总是这么慢...
- 数组为什么速度慢于指针
- 为什么电驴下载速度慢?
- 为什么我的ArcSDE数据重建索引和分析(Analye)后反而效率更慢
- 为什么我的线程数越多计算时间反而慢了呢
- HADOOP实践101:在Hadoop集群中添加机器和删除机器
- java执行速度相比较慢的原因
- 谁能帮我解决下为什么代码执行速度特别慢?是代码哪里写错了吗???
- Hadoop集群机器命名机制
- hadoop集群增加/删除机器
- Android内存管理机制详解
- android中网络判断
- spark 并行计算模型
- Probably caused by : avipbb.sys ( avipbb+ab1d )
- Linux之路 — SSH篇
- 为什么Hadoop集群中机器台数多反而执行速度慢?
- hadoop 性能调优 重要参数设置技巧
- socket编程:select 用法 例子
- 如何选择数学方向---来自南京大学数学系张高飞老师
- dedeeims中产品栏目一二级同时循环调用调用
- C++类
- 基于baseline、svd和stochastic gradient descent的个性化推荐系统
- vs2010启动调试很慢,可以试试这个解决方案
- highcharts报表自定义Y轴扩展属性