Hadoop调优
来源:互联网 发布:手机上开淘宝店视频 编辑:程序博客网 时间:2024/06/08 06:12
官方解释:The maximum number of map tasks that will be run simultaneously by a task tracker.
我的理解:一个tasktracker最多可以同时运行的map任务数量
默认值:2
优化值:mapred.tasktracker.map.tasks.maximum = cpu数量
服务器CPU总核数 = more /proc/cpuinfo | grep 'processor' | wc -l
每个CPU的核数 = more /proc/cpuinfo | grep 'cpu cores'
mapred.map.tasks
官方的解释:The default number of map tasks per job
我的解释:一个Job会使用task tracker的map任务槽数量,这个值 ≤ mapred.tasktracker.map.tasks.maximum
默认值:2
优化值:
- CPU数量 (我们目前的实践值)
- (CPU数量 > 2) ? (CPU数量 * 0.75) : 1 (mapr的官方建议)
注意:map任务的数量是由input spilit决定的,和上面两个参数无关
mapred.tasktracker.reduce.tasks.maximum
官方解释:The maximum number of reduce tasks that will be run simultaneously by a task tracker.
我的理解:一个task tracker最多可以同时运行的reduce任务数量
默认值:2
优化值: (CPU数量 > 2) ? (CPU数量 * 0.50): 1 (mapr的官方建议)
mapred.reduce.tasks
官方解释:The default number of reduce tasks per job. Typically set to 99% of the cluster's reduce capacity, so that if a node fails the reduces can still be executed in a single wave.
我的理解:一个Job会使用task tracker的reduce任务槽数量
默认值:1
优化值:
- 0.95 * mapred.tasktracker.tasks.maximum
理由:启用95%的reduce任务槽运行task, recude task运行一轮就可以完成。剩余5%的任务槽永远失败任务,重新执行
- 1.75 * mapred.tasktracker.tasks.maximum
理由:因为reduce task数量超过reduce槽数,所以需要两轮才能完成所有reduce task。具体快的原理我没有完全理解,上原文:
hadoop官方wiki: 写道
环境变量
disable ipv6配置,修改bin/hadoop,添加下行:
Hive调优:
mapred.reduce.tasks
to a prime close to the number of available hosts. Ignored when
mapred.job.tracker is "local". Hadoop set this to 1 by default, whereas hive uses -1 as its default value.
By setting this property to -1, Hive will automatically figure out what should be the number of reducers.
1. hive.exec.reducers.bytes.per.reducer(默认为1GB)
2. hive.exec.reducers.max(默认为999)
mapred.reduce.tasks = min ( 参数2,总输入数据量/参数1 )
默认值:-1
优化值:显式设置为Hadoop配置中mapred.reduce.tasks值,参考上文。
- Hadoop调优
- Hadoop调优
- Hadoop调优
- hadoop调优
- Hadoop调优
- hadoop 调优
- hadoop 调优
- Hadoop调优
- hadoop 调优1
- 利用ganglia调优hadoop
- hadoop 调优1
- hadoop job调优
- hadoop-hhbase调优
- hadoop
- Hadoop
- Hadoop
- hadoop
- hadoop
- Android解决surfaceView中底图闪烁的问题。
- 设置git默认remote
- pl/sql 中文乱码问题解决方案
- linux中vi显示中文乱码的问题
- 中国合伙人正能量的22句话
- Hadoop调优
- .NET LINQ 限定符操作
- 解决fragment+viewpager第二次进入的时候没有数据的问题
- linux系统调用和库函数调用的区别
- linux最快的IPC--共享内存
- java 垃圾回收
- 您用的LaTeX程序把下面代码转换成pdf格式需要多长时间?
- Jquery+ajax+json+servlet原理和Demo
- .NET LINQ 投影运算