Hadoop Map Reduce Task默认任务数调优
来源:互联网 发布:java特点和优势 编辑:程序博客网 时间:2024/05/04 22:29
mapred.tasktracker.map.tasks.maximum
官方解释:The maximum number of map tasks that will berun
我的理解:一个tasktracker最多可以同时运行的map任务数量
默认值:2
优化值:mapred.tasktracker.map.tasks.maximum = cpu数量
服务器CPU总核数 = more /proc/cpuinfo | grep 'processor' | wc -l
每个CPU的核数 = more /proc/cpuinfo | grep 'cpu cores'
mapred.map.tasks
官方的解释:The default number of map tasks per job
我的解释:一个Job会使用task tracker的map任务槽数量,这个值≤
默认值:2
优化值:
- CPU数量 (我们目前的实践值)
- (CPU数量 > 2) ? (CPU数量 * 0.75) : 1
(mapr的官方建议)
注意:map任务的数量是由inputspilit决定的,和上面两个参数无关
mapred.tasktracker.reduce.tasks.maximum
官方解释:The maximum number of reduce tasks that will berun
我的理解:一个task tracker最多可以同时运行的reduce任务数量
默认值:2
优化值:
mapred.reduce.tasks
官方解释:The default number of reduce tasks per job. Typically set to99%
我的理解:一个Job会使用task tracker的reduce任务槽数量
默认值:1
优化值:
- 0.95 * mapred.tasktracker.tasks.maximum
理由:启用95%的reduce任务槽运行task, recudetask运行一轮就可以完成。剩余5%的任务槽永远失败任务,重新执行
- 1.75 * mapred.tasktracker.tasks.maximum
理由:因为reduce task数量超过reduce槽数,所以需要两轮才能完成所有reducetask。具体快的原理我没有完全理解,上原文:
- Hadoop Map Reduce Task默认任务数调优
- Hadoop的map任务和reduce任务的数量
- Hadoop Map Reduce 限制counter的默认数量120
- Hadoop Map Reduce 限制counter的默认数量120
- Hadoop跑map-reduce任务时停滞不前的问题
- 【hadoop】map reduce任务提交后系统干嘛了
- 如何控制hadoop中map和reduce任务的数量
- hadoop的map和reduce任务的执行步骤
- hadoop节点运行的reduce和map任务数
- 如何在Hadoop中控制Map&Reduce任务的数量
- Hadoop 初识之修改map task数和reduce task数
- hadoop 分片与分块,map task和reduce task的理解
- hadoop 分片与分块,map task和reduce task的理解
- Hadoop Map/Reduce教程
- Hadoop Map/Reduce教程
- Hadoop Map/Reduce教程
- Hadoop Map/Reduce教程
- Hadoop Map/Reduce教程
- 世界知名游戏公司简介(国内,欧美,日韩)
- Linux设备驱动学习总结
- Android sendevent/getevent 用法
- JAVA 数组类方法使用
- 如何学习PHP?
- Hadoop Map Reduce Task默认任务数调优
- MIT牛人解说数学体系
- 半年~
- 轻快的vim
- 经验之谈:10位顶级PHP大师的开发原则
- RailsCasts中文版,#24 The Stack Trace 利用异常堆栈调试问题
- Oracle GoldenGate Director安装配置详细手册
- 给程序员新手的一些建议
- 存货计价方法详解