hive 的map reduce的设置

1.set dos.block.size:查看集群设置的文件大小（该参数不能自定义修改）

   134217728L（128兆的意思）

2.map执行前合并小文件，减少map数

   set mapred.max.split.size=100000000；表示100M

   set mapred.min.split.size.per.node=100000000;

   set mapred.min.split.size.per.rack=1000000000；

   set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat：这个参数表示执行前进行小文件合并，前面三个参数确定合并文件块的大小，大于文件块大小128m的，按照128m来分隔，小于128m,大于100m的，按照100m来分隔，把那些小于100m的（包括小文件和分隔大文件剩下的）

3.map执行非常慢时候，考虑增加Map数，是的每个Map处理量减少

 set mapred.reduce.tasks = 10;设置10个map任务。

4.控制Hive的reduce数

调整reduce个数方法一： 

调整hive.exec.reducers.bytes.per.reducer参数的值；

set hive.exec.reducers.bytes.per.reducer=500000000; （500M）

select pt,count(1) from popt_tbaccountcopy_mes where pt = '2012-07-04' group by pt;这次有20个reduce

调整reduce个数方法二； 

set mapred.reduce.tasks = 15;

select pt,count(1) from popt_tbaccountcopy_mes where pt = '2012-07-04' group by pt;这次有15个reduce

==================================================================================

5.其他

之前的hive的参数：

hive.merge.mapfiles=true

hive.merge.mapredfiles=false

hive.merge.rcfile.block.level=true

hive.merge.size.per.task=256000000

hive.merge.smallfiles.avgsize=16000000

hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat

mapred.max.split.size=256000000

mapred.min.split.size=1

mapred.min.split.size.per.node=1

mapred.min.split.size.per.rack=1

 

hive.merge.mapredfiles 这个指的是 在Map-Reduce的任务结束时合并小文件

解决办法：

1) 修改参数hive.merge.mapredfiles=true

2) 通过map_reduece的办法生成一张新的表此时生成的文件变成了每个分区一个文件

 

再次执行group by 发现效率得到了大大的提升。

 

小结：

正确处理hive小文件 是控制map数的一个重要环节

处理的不好 会大大影响任务的执行效率