reduce task 数量
来源:互联网 发布:js调用浏览器下载功能 编辑:程序博客网 时间:2024/04/29 23:01
Hadoop wiki(http://wiki.apache.org/hadoop/HowManyMapsAndReduces)对这个问题有较详细的解释,大致有以下几个观点:
- 增加task的数量,一方面增加了系统的开销,另一方面增加了负载平衡和减小了任务失败的代价;
- map task的数量即mapred.map.tasks的参数值,用户不能直接设置这个参数。Input Split的大小,决定了一个Job拥有多少个map。默认input split的大小是64M(与dfs.block.size的默认值相同)。然而,如果输入的数据量巨大,那么默认的64M的block会有几万甚至几十万的Map Task,集群的网络传输会很大,最严重的是给Job Tracker的调度、队列、内存都会带来很大压力。mapred.min.split.size这个配置项决定了每个 Input Split的最小值,用户可以修改这个参数,从而改变map task的数量。
- 一个恰当的map并行度是大约每个节点10-100个map,且最好每个map的执行时间至少一分钟。
- reduce task的数量由mapred.reduce.tasks这个参数设定,默认值是1。
- 合适的reduce task数量是0.95或者0.75*( nodes * mapred.tasktracker.reduce.tasks.maximum), 其中,mapred.tasktracker.tasks.reduce.maximum的数量一般设置为各节点cpu core数量,即能同时计算的slot数量。对于0.95,当map结束时,所有的reduce能够立即启动;对于1.75,较快的节点结束第一轮reduce后,可以开始第二轮的reduce任务,从而提高负载均衡。
- reduce task 数量
- MapReduce中Map Task和Reduce Task的数量
- Reduce task
- TeraSort实验--测试Map和Reduce Task数量对Hadoop性能的影响
- TeraSort实验--测试Map和Reduce Task数量对Hadoop性能的影响
- TeraSort实验--测试Map和Reduce Task数量对Hadoop性能的影响
- TeraSort实验--测试Map和Reduce Task数量对Hadoop性能的影响
- Map Reduce 数量设置
- Hadoop中通过ToolRunner和Configured实现直接读取命令行动态出入reduce task数量,jar文件等
- MapReduce中的task数量
- hadoop细节---reduce任务数量
- Hadoop map与reduce数量
- map和reduce数量控制
- map和reduce数量生成
- Reduce Task的学习笔记
- 关于reduce的数量设置问题
- Hadoop 笔记之Map && Reduce数量确定
- Hadoop Map Reduce Task默认任务数调优
- mysql存储过程详解
- 两种dlx解法比较 以及靶形数独
- 【项目1扩展(选做)】从键盘输入20个整数,输出它们的和
- 知易游戏开发教程cocos2d-x移植版004
- java-自定义异常操作
- reduce task 数量
- 弹出小键盘的安全密码输入器 密码安全 小键盘
- libevent简单示例
- Ubuntu 12.04 常用的快捷键
- Uboot知识
- C#使用委托的好处
- ubuntu下firefox的flash tar.gz包的安装方法
- 安卓权限大全
- C# WebClient UploadFile测试通过