java程序员的大数据之路（9）：MapReduce的类型

概述

Hadoop的MapReduce中，map和reduce函数遵循如下常规格式：
map:(K1，V1) -> list(K2,V2)
reduce:(K2,list(V2)) -> list(K3,V3)
输入数据的类型由输入格式进行设置。例如，对应于TextInputFormat的键类型是LongWritable，值类型是Text。其他类型通过调用JobConf上的方法进行显示设置。如果没有显示设置，中间的类型默认为最终的输出类型。因此，如果K2与K3相同，就不需要调用setMapOutputKeyClass()，因为它将调用setOutputKeyClass(),如果V2与V3相同，只需要使用setOutputValueClass()。

默认的MapReduce作业

• 默认的输入格式是TextInputFormat。
• 默认的mapper是IdentityMapper，它将输入的键和值原封不动的写到输出中。
• 默认的partitioner是HashPartitioner，它对每条记录的键进行哈希操作以决定该记录属于哪个分区。每个分区对应一个reducer任务，所以分区数等于作业的reducer的个数。
• 默认只有一个reducer，它是IdentityReducer。reducer的最优个数与集群中可用的reducer任务槽数相关。总槽数由mapred.tasktracker.reduce.tasks.maximum属性的值决定。通常情况下，reducer数设置比总槽数稍微少一些。

输入格式

输入分片与记录

一个输入分片就是由单个map处理的输入块，每个map操作只处理一个输入分片。每个分片被划分为若干个记录，每条记录就是一个键值对。

FileInputFormat类

FileInputFormat类是所有使用文件作为数据源的InputFormat实现的基类。它提供两个功能：一个定义哪些文件包含在一个作业的输入中，一个为输入文件生成分片的实现。

FileInputFormat类的输入路径

FileInputFormat类提供四种静态方法来设定JobConf的输入路径：

public static void addInputPath(JobConf conf, Path path)public static void addInputPaths(JobConf conf, String commaSeparatedPaths)public static void setInputPaths(JobConf conf, Path... inputPaths)public static void setInputPaths(JobConf conf, String commaSeparatedPaths)

FileInputFormat类的输入分片

FileInputFormat只分割超过HDFS块大小的文件。分片通常与HDFS块大小一致，但也可以通过设置属性改变，最小的分片大小通常是一字节。最大的分片大小默认是Java long类型表示的最大值。
分片的大小由以下公式计算：
max(minimumSize, min(maximumSize, blockSize))
默认情况下：
minimumSize < blockSize < maximumSize
所以默认大小就是blockSize。

小文件与CombineFileInputFormat

相对于大批量的小文件，Hadoop更适合处理少量的大文件。对应大量小文件的问题，使用CombineFileInputFormat会把多个文件打包到一个分片。

文本输入

TextInputFormat

TextInputFormat是默认的InputFormat。每条记录是一行输入，键是存储该行在整个文件中的字节偏移量。值是这行的内容。

KeyValueTextInputFormat

TextInputFormat的键通常不是特别有用，因此我们可以用KeyValueTextInputFormat。

NLineInputFormat

如果希望mapper收到固定行数的输入，需要使用NLineInputFormat作为InputFormat，通过设置mapred.line.input.format.linespermap属性，控制mapper收到行数。

数据库输入（和输出）

DBInputFormat这种输入格式用于使用JDBC从关系数据库中读取数据。最好用于加载小量的数据集，如果需要与来自HDFS的大数据集连接，要使用MultipleInputs。