Map Reduce 数量设置

JobConf.setNumMapTasks(n)是有意义的，结合block size会具体影响到map任务的个数，详见FileInputFormat.getSplits源码。假设没有设置mapred.min.split.size，缺省为1的情况下，针对每个文件会按照min (totalsize[所有文件总大小]/mapnum[jobconf设置的mapnum], blocksize)为大小来拆分，并不是说文件小于block size就不去拆分。 


2.http://hadoop.hadoopor.com/thread-238-1-1.html 
不知道你是要提高整个集群的map/reduce任务数，还是单个节点可并行运行的map/reduce任务数？对于前者是一般只设置reduce任务数，而map任务数是由Splits个数决定的; 对于后者，是可以在配置中设置的，分别为：mapred.tasktracker.map.tasks.maximum 
mapred.tasktracker.reduce.tasks.maximum 

另外，还有个参数mapred.jobtracker.taskScheduler.maxRunningTasksPerJob，用来控制一个job最大并行tasks数，这个是指在集群最大并行数。 

3.我的理解：具体看FileInputFormat.java的代码 
map tasks的个数只要是看splitSize，一个文件根据splitSize分成多少份就有多少个map tasks。而splitSize的计算(看FileInputFormat的源码)：splitSize = Math.max(minSize, Math.min(maxSize, blockSize));而 
minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));即是某种格式的文件的最小分割size(如看源码sequenceFile是2000)和整个job配置的最小分割size（即mapred-default.xml中mapred.min.split.size的值）之间的较大的那个 
maxSize是mapred.max.split.size（mapred-default.xml中竟然没有，我试了一下，在mapred-site.xml中配置覆盖也没有用，具体用法参照http://osdir.com/ml/mahout-user.lucene.apache.org/2010-01/msg00231.html用参数配置： hadoop jar /root/mahout-core-0.2.job org.apache.mahout.clustering.lda.LDADriver -Dmapred.max.split.size=900...）,如果不配置，默认值是long类型的最大值。（mapred.max.split.size不推荐配置（试）） 
blockSize是即hdfs-default.xml中dfs.block.size的值,可在hdf-site.xml中覆盖.这个值必须是512的倍数，如果想要数量更多的map的tasks的个数，可以把dfs.block.size设得小一点，512，1024等等，反正上面的公式保证了即使你这个blocksize设得比某种格式的文件的最小分割size要小，最后还是选者这种格式的最小分割size，如果blocksize比它大，则选用blocksize作为splitSize的大小. 

总结：如果想要多一点的map tasks，(1)可以设置dfs.block.size小一点，sequenceFile推荐2048。。。（试）在eclipse运行时，dfs.block.size是由eclipse中mapreduce的设置（dfs.block.size）生效的，而不是hadoop的conf中的配置文件，但是如果用终端hadoop jar命令跑的话，应该是由hadoop的conf中的配置文件决定生效的 
(2)推荐： 可以分成多个sequenceFile来作为输入（把上层目录作为输入路径即可，上层目录下包括的必为清一色的sequenceFile）,输入路径 "./"或指定上层目录文件名 

reduce task的个数： 

可通过job.setNumReduceTasks(n);设定。多个reduce task的话就会有多个reduce结果，part-r-00000, part-r-00001, ...part-r-0000n 

• 增加task的数量，一方面增加了系统的开销，另一方面增加了负载平衡和减小了任务失败的代价；
• map task的数量即mapred.map.tasks的参数值，用户不能直接设置这个参数。Input Split的大小，决定了一个Job拥有多少个map。默认input split的大小是64M（与dfs.block.size的默认值相同）。然而，如果输入的数据量巨大，那么默认的64M的block会有几万甚至几十万的Map Task，集群的网络传输会很大，最严重的是给Job Tracker的调度、队列、内存都会带来很大压力。mapred.min.split.size这个配置项决定了每个 Input Split的最小值，用户可以修改这个参数，从而改变map task的数量。
• 一个恰当的map并行度是大约每个节点10-100个map，且最好每个map的执行时间至少一分钟。
•  reduce task的数量由mapred.reduce.tasks这个参数设定，默认值是1。
• 合适的reduce task数量是0.95或者0.75*( nodes * mapred.tasktracker.reduce.tasks.maximum), 其中，mapred.tasktracker.tasks.reduce.maximum的数量一般设置为各节点cpu core数量，即能同时计算的slot数量。对于0.95，当map结束时，所有的reduce能够立即启动；对于1.75，较快的节点结束第一轮reduce后，可以开始第二轮的reduce任务，从而提高负载均衡

由Hive来执行相关的查询

hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2

也即：每一个tasktracker同时运行的map任务数为2

照此默认设置，查询80天某用户的操作日志，耗时5mins, 45sec

经过测试，发现将mapred.tasktracker.map.tasks.maximum设置为节点的cpu cores数目或者数目减1比较合适

此时的运行效率最高，大概花费3mins, 25sec

我们现在的机器都是8核的，所以最终配置如下：

<property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>8</value>
    <description>The maximum number of map tasks that will be run
    simultaneously by a task tracker.
    </description>
</property>

而对于mapred.map.tasks（每个job的map任务数）值，hadoop默认值也为2

可以在执行hive前，通过set mapred.map.tasks=24来设定

但由于使用hive，会操作多个input文件，所以hive默认会把map的任务数设置成输入的文件数目

即使你通过set设置了数目，也不起作用…

以上转自：http://blog.csdn.net/jingling_zy/article/details/7321938

再转一个：http://blog.csdn.net/bruce_wang_janet/article/details/7281031 内容如下:

mapred.tasktracker.map.tasks.maximum

 

官方解释：The maximum number of map tasks that will be run  simultaneously by a task tracker.

 

我的理解：一个tasktracker最多可以同时运行的map任务数量

 

默认值：2

 

优化值：mapred.tasktracker.map.tasks.maximum = cpu数量

 

cpu数量 = 服务器CPU总核数 / 每个CPU的核数
服务器CPU总核数 = more /proc/cpuinfo | grep 'processor' | wc -l
每个CPU的核数 = more /proc/cpuinfo | grep 'cpu cores'

mapred.map.tasks

官方的解释：The default number of map tasks per job

 

我的解释：一个Job会使用task tracker的map任务槽数量，这个值 ≤ mapred.tasktracker.map.tasks.maximum

 

默认值：2

 

优化值：

1. CPU数量 （我们目前的实践值）
2. (CPU数量 > 2) ? (CPU数量 * 0.75) : 1  （mapr的官方建议）

 

注意：map任务的数量是由input spilit决定的，和上面两个参数无关

mapred.tasktracker.reduce.tasks.maximum

 

官方解释：The maximum number of reduce tasks that will be run  simultaneously by a task tracker.

 

我的理解：一个task tracker最多可以同时运行的reduce任务数量

 

默认值：2

 

优化值： (CPU数量 > 2) ? (CPU数量 * 0.50): 1 （mapr的官方建议）

mapred.reduce.tasks

 

官方解释：The default number of reduce tasks per job. Typically set to 99%  of the cluster's reduce capacity, so that if a node fails the reduces can  still be executed in a single wave.

 

我的理解：一个Job会使用task tracker的reduce任务槽数量

 

默认值：1

 

优化值：

• 0.95 * mapred.tasktracker.tasks.maximum

理由：启用95%的reduce任务槽运行task, recude task运行一轮就可以完成。剩余5%的任务槽永远失败任务，重新执行

• 1.75 * mapred.tasktracker.tasks.maximum

理由：因为reduce task数量超过reduce槽数，所以需要两轮才能完成所有reduce task。具体快的原理我没有完全理解，上原文：

 

    hadoop官方wiki： 写道

At 1.75 the faster nodes will finish their first round of reduces and launch a second round of reduces doing a much better job of load balancing.

 

环境变量

disable ipv6配置，修改bin/hadoop，添加下行：

 

HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

 

Hive调优：

 

mapred.reduce.tasks

 

官方 写道

The default number of reduce tasks per job. Typically set
to a prime close to the number of available hosts. Ignored when
mapred.job.tracker is "local". Hadoop set this to 1 by default, whereas hive uses -1 as its default value.
By setting this property to -1, Hive will automatically figure out what should be the number of reducers.

 

 

我的理解

tasktracker执行hive job的reduce任务数，设置为"-1"hive将自动设置该值，策略如下：

1. hive.exec.reducers.bytes.per.reducer（默认为1GB）
2. hive.exec.reducers.max（默认为999）

mapred.reduce.tasks = min ( 参数2，总输入数据量/参数1 )

 

默认值：-1

 

优化值：显式设置为Hadoop配置中mapred.reduce.tasks值，参考上文。