MapReduce之RecordWriter理解
来源:互联网 发布:数据分析师证书有哪些 编辑:程序博客网 时间:2024/05/21 17:37
RecordWriter:其实主要就是负责将task的key/value结果写入内存或者磁盘
一 方法分析
1.1 write:写key/value键值对
1.2 close: 关闭RecordWriter
二 RecordWriter运行流程分析
2.1 Map Task Record Writer运行流程分析
#Map Task#runNewMapper会根据是否当前程序需要运行Reduce来创建不同的RecordWriter:没有Reduce任务,则创建NewDirectOutput
Collector对象;否则需要创建NewOutputCollector对象
#每一次调用map方法结束都会调用context.wirte方法,将key/value写入内存或者磁盘
#write方法又会调用NewOutputCollector#collect方法,collect方法开始将key/value写入内存,如果达到阀值则将内存的数据溢写到磁盘
#程序运行结束,根据情况看是否需要合并产生的溢写文件,如果太多,是有必要进行一次merge的
2.2 Reduce Task Record Writer运行流程分析
# Reduce Task#runNewReducer会构造NewTrackingRecordWriter对象
#这个对象会调用OutputFormat#getRecordWriter对象,默认我们用的是TextOutputFormat,然后它对应的RecordWriter就是LineRecord
Writer对象
#然后每次reduce方法执行完毕,都会调用context.write(key,value)
这时候LineRecordWriter就会把key/value写入输出文件
三 常见的RecordWriter
3.1 DBRecordWriter: 将reduce结果写入sql表中
3.2 LineRecordWriter: 将key/value写入输出文件一行中
3.3 NewDirectOutputCollector: 它默认调用的也是LineRecordWriter,输出结果写入输出文件
3.4 NewOutputCollector: 将key/value写入内存,内存满了写入磁盘,一般情况在Map阶段
- MapReduce之RecordWriter理解
- MapReduce-XML处理-定制OutputFormat及定制RecordWriter
- MapReduce之InputFormat理解
- MapReduce之OutputFormat理解
- MapReduce之RecordReader理解
- Hadoop之MapReduce运行理解
- MapReduce之combiner的理解
- MapReduce之Partitioner的理解
- Map执行时的RecordWriter实现之NewOutputCollector
- Map执行时的RecordWriter实现之NewOutputCollector
- hadoop源码阅读之mapreduce再理解
- mapreduce理解
- MapReduce理解
- MapReduce理解
- 理解MapReduce
- MapReduce理解
- MapReduce理解
- 理解MapReduce
- 微信公众号开发生成带参数二维码的功能
- java spi与dubbo spi区别
- mysql批量新增和修改示例(foreach 使用)
- HTML <label> 标签
- iOS- 快速实现展示布局
- MapReduce之RecordWriter理解
- java打印服务程序实现
- SourceInsight基本用法
- python下安装sklearn
- drools应用开发点
- SpringBoot Properties常用应用属性配置列表
- Java空字符串与null的区别和判断字符串是否为空的方法(转载)
- Numpy 库准备放弃支持 Python 2
- 欢迎使用CSDN-markdown编辑器