maps 和 reduces 的数量
来源:互联网 发布:kafka leader选举算法 编辑:程序博客网 时间:2024/05/16 14:11
原文:http://wiki.apache.org/hadoop/HowManyMapsAndReduces
1、增加task的数量,一方面增加了系统的开销,另一方面增加了负载平衡和减少了任务失败产生的开销
2、map task的数量控制是比较subtle,因为 mapred.map.tasks的参数值并不能直接控制map的数量,它只是给InputFormat一个提示。而InputFormat中的 InputSplit的大小,决定了一个job拥有多少个map。默认 Input Split的大小是64m(与dfs.block.size的默认值相同)。然而,如果输入的数据量巨大,那么默认的64M的block会有几万甚至几十万的map task,集群的网络传输会很大,最严重的是给Job Tracker的调度、队列、内存都会带来很大的压力。mapred.min.split.size这个配置决定了每个Input Split的最小值,用户可以修改这个参数,从而改变map task的数量
3、一个恰当的map 并行度是大每每个节点 10 -- 100个map,不是说越少就越好,因为map在初始化过程需要一定的时间,所以每个map最少执行一分钟比较好。
4、reduce.task的数量由mapred.reduce.tasks来决定,默认值是1
5、合适的reduce.task数量是 0.95 或 1.75 * (nodes * mapred.tasktracker.tasks.maximun)。
其中 mapred.tasktracker.tasks.reduce.maximum的数量一般设置为各节点 cpu core数目,即能同时计算的 slot (CPU插槽)数量。
对于0.95,当map结束时,所有的reduce能够立即启动;
对于1.75,较快的节点结束第一轮 reduce后,可以开始第二轮的reduce任务,从而提高负载均衡。
- maps 和 reduces 的数量
- How Many Maps And Reduces
- Partitioning your job into maps and reduces
- 擎的页面收录数量和反向链接数量
- maps和multimaps
- maps 和 multimap
- 适用于数量的钱投资和交易
- 硬件和核数量的意义2014
- 割点和桥的数量
- 计算鸡和兔子的数量
- Google maps V3控制地图的缩放和显示范围
- 用Cognos Maps展现和地域相关的数据
- deepmind_lab 运行 ASSETS 和 MAPS文件依赖的东西
- Android的memory maps
- 关于c#中获取listbox中选中项的数量和所有选项的数量
- maps
- maps
- Maps
- POJ 1003
- CSharp - Working principles about Thread, Process, Multithreading, DeadLock, Lock
- ERROR 1130: Host 'HostName' is not allowed to connect to this MySQL server
- 黑马程序员——单例设计模式
- C# 界面随父界面大小比例变化
- maps 和 reduces 的数量
- Prime ring problem
- Junit4 新断言语法介绍(转)
- uva 12097 - Pie(二分,4级)
- 设计模式-06-适配器模式
- YUM常用命令介绍
- iOS 新浪微博客户端Demo实践之(七) 应用程序图标设置及总结
- dataGridView增加可操作事件字段
- map feed back