Hadoop map任务个数分析

        Hadoop map任务个数由输入文件在HDFS上的分块个数确定。

        如果一个输入文件的大小大于BlockSize，那么这个输入文件被分成的若干个块，一个块即是一个split,map任务的个数等于块(split)的个数。

        如果一个输入文件的大小小于BlockSize，则这个文件就是一个块（其占用的存储空间等于文件的实际大小），这个输入文件将被作为一个map任务的输入。

        对于要处理大量小文件的MapReduce程序，由于一个小文件就需要启动一个Map task，太多的Map task会造成程序运行效率的低下，可以采用CombineFileInputFormat将多个input path合并成一个InputSplit送给mapper处理，从而减少Map任务的个数。

map个数的计算公式如下：

 splitsize=max(minimumsize,min(maximumsize,blocksize))。

（如果没有设置minimumsize和maximumsize，splitsize的大小默认等于blocksize）

for(file ：输入目录中的每个文件)
{
file_split = 1;
if(file.size>splitsize)
{
file_split=file_size/splitsize;
}
total_split+=file_split;
}