hadoop 中map、reduce数量对mapreduce执行速度的影响
来源:互联网 发布:阿房宫读音知乎 编辑:程序博客网 时间:2024/06/05 15:00
- 增加task的数量,一方面增加了系统的开销,另一方面增加了负载平衡和减小了任务失败的代价;
- map task的数量即mapred.map.tasks的参数值,用户不能直接设置这个参数。Input Split的大小,决定了一个Job拥有多少个map。默认input split的大小是64M(与dfs.block.size的默认值相同)。然而,如果输入的数据量巨大,那么默认的64M的block会有几万甚至几十万的Map Task,集群的网络传输会很大,最严重的是给Job Tracker的调度、队列、内存都会带来很大压力。mapred.min.split.size这个配置项决定了每个 Input Split的最小值,用户可以修改这个参数,从而改变map task的数量。
- 一个恰当的map并行度是大约每个节点10-100个map,且最好每个map的执行时间至少一分钟。
- reduce task的数量由mapred.reduce.tasks这个参数设定,默认值是1。
- 合适的reduce task数量是0.95或者0.75*( nodes * mapred.tasktracker.reduce.tasks.maximum), 其中,mapred.tasktracker.tasks.reduce.maximum的数量一般设置为各节点cpu core数量,即能同时计算的slot数量。对于0.95,当map结束时,所有的reduce能够立即启动;对于0.75,较快的节点结束第一轮reduce后,可以开始第二轮的reduce任务,从而提高负载均衡。
http://blog.csdn.net/npucloud/article/details/6432145
测试总结:
一.数据2亿的数据量
整个测试过程中输入数据保持不变,输出逻辑数据保持不变
二,测试数据
第一组数据:
1.map=128,reduce=20
2.map=256,reduce=20
3.map=512,reduce=20
由上面的数据来看,在reduce数量不变前提下
map执行时间会成倍数下降,但是shuffle和redue执行时间变化很小,导致,总体执行时间越到最后执行时间下降越缓慢
第二组数据:
1 0
- hadoop 中map、reduce数量对mapreduce执行速度的影响
- TeraSort实验--测试Map和Reduce Task数量对Hadoop性能的影响
- TeraSort实验--测试Map和Reduce Task数量对Hadoop性能的影响
- TeraSort实验--测试Map和Reduce Task数量对Hadoop性能的影响
- TeraSort实验--测试Map和Reduce Task数量对Hadoop性能的影响
- Hadoop MapReduce执行过程中map和reduce执行过程
- mapreduce中map和reduce的最大并发数量设置
- MapReduce中Map Task和Reduce Task的数量
- hadoop中map和reduce的数量设置问…
- hadoop中map和reduce的数量设置问题
- hadoop中map和reduce的数量设置问题
- 如何控制hadoop中map和reduce任务的数量
- hadoop中map和reduce的数量设置
- hadoop中map和reduce的数量设置问题
- hadoop中map和reduce的数量设置问题
- hadoop中map和reduce的数量设置
- hadoop中map和reduce的数量设置问题
- hadoop中map和reduce的数量设置问题
- php发送get、post请求的几种方法
- leetcode || 41、First Missing Positive 问题
- C++引用报错:invalid initialization of non-const reference of type ‘std::string&’ from an rvalue of type
- leetcode_112_Path Sum
- HDU 5074 Hatsune Miku 暴力dp
- hadoop 中map、reduce数量对mapreduce执行速度的影响
- beaglebone ssh链接
- Best Time to Buy and Sell Stock IV
- ios中打电话功能实现的几种方式
- 浅谈高效学习的方法:打破遗忘的诅咒
- java 常用类 事例
- sencha touch + cordova使用tel:****打电话不起效的问题
- 写批处理命令bat读图片路径
- C++一些常用用法