InputFormat的个人理解
来源:互联网 发布:淘宝开店免费吗 编辑:程序博客网 时间:2024/05/04 18:40
概述
InputFormat是MapReduce中的第一个重要阶段,它主要做了两部分工作,第一步过滤inputPath, 生成inputSplit,写入文件.staging/job.split,每个inputsplit对应一个map。第二步,构建recordReader, 生成
InputFormat
Usage:
- 验证job的inputPath里面的文件。
- 划分输入文件,生成逻辑的inputSplits,每一个inputSplit作为一个map的处理数据。
- 提供一个recorderReader给Map使用。
RecordReader
Method:
- abstract void initialize(InputSplit split, TaskAttemptContext context)这个方法只执行一次,在mapTask的初始化的时候调用。
- abstract boolean next(K key, V value) 每调用一次,生成一组(key, value)键值对,交给map处理。
readLine对跨block两种处理方法
- 上一个block读到小于end,下一个block读取时,首先回退一个字符,读一行丢掉。参考:CombineRecordReader的实现。
- 上一个block多读一个字符,读到小于等于end,读一下block时不需要特殊处理,直接读。参考:LineRecordReader的实现
InputFormat的使用
- MapReduce中的配置:Job.setInputFormatClass()
- Job初始化的获取:MapTask中的runNewMapper方法会获取Job中set的InputFormat的方法,然后通过inputformat获取recordreader。
- MapReduce运行时的工作:Context会调用MapContext,再调用MapContextImpl.getCurrentKey(),再调用RecordReader.getCurrentKey()
0 0
- InputFormat的个人理解
- inputFormat,RecordRead的理解和定制
- MapReduce之InputFormat理解
- 自定义hadoop的inputformat
- 自定义hadoop的InputFormat
- Hive 的 自定义 Inputformat
- HDFS的 InputFormat自定义
- FormLayout的个人理解
- 数据仓库的个人理解
- SOA的个人理解
- cin的个人理解
- MVC的个人理解
- 狭义相对论的个人理解
- HashMap个人的理解
- HashSet的个人理解
- Vector的个人理解
- runtime的个人理解
- MVC的个人理解
- 如何检查内存泄露并进行定位
- VMware 不能识别U盘的解决办法
- socket编程
- some formulas for bloging
- 脸萌5
- InputFormat的个人理解
- windows函数库
- 关于NSString中的copy与strong
- 54. Spiral Matrix
- android 移动抓包工具汇集Filder4和Charles
- 【SDOI2013】森林
- iOS 简单实用的音乐播放器,少年,自己做个歌单吧。。。。。。
- 英语总结系列(十八):六月一波三折的英语
- 网页设计课程之《”信息中心”网站的搭建》-心得分享(三)