MR--InputFormat

来源:互联网 发布:php html解析器 编辑:程序博客网 时间:2024/04/29 03:45

Hadoop2.7.4 InputFormat

功能:
描述了作业的输入规范, MR框架对Mapreduce Job的如下工作依赖于这个Job的InputFormat对象:

  1. 校验作业的输入是否规范.
  2. 拆分输入文件成为InputSplit对象, 然后将每一个InputSplit对象分配给一个单独额Mapper对象.
  3. 根据InputSplit返回一个已经实现的RecordReader.

其主要的功能就是将输入文件按照某个大小来拆分.
其主要的实现类为FileInputFormat

原创粉丝点击