MapReduce(十五): 从HDFS读取文件的源码分析
来源:互联网 发布:三个月雅思6.5知乎 编辑:程序博客网 时间:2024/06/04 20:40
以Map任务读取文本数据为例:
1) LineRecordReader负责对文件分割的定位,以及对读取每一行内容的封装供用户Map任务使用。每次在定位在文件中不为0的位置时,多读取一行,因为前一个处理该位置之前的数据时,会完整把该一行已经读取并处理。
2) LineReader负责对所要访问文件输入流的数据进行每一行读取,只实现对每一行读取的逻辑。
3) DFSDataInputStream封装了DFSInputStream的实现,直接调用DFSInputStream接口完成。
4) DFSInputStream,负责对所访问文件block的管理,提供定位block位置和提供block数据流读取的接口。
定位到所读取的位置在哪个block中后,打开与该block的socket连接,然后从封装socket的RemoteBlockReader中读取数据:
根据定位到的block在哪个主机,打开与该主机的socket连接:
获取block信息后,开始获取数据流:
5) RemoteBlockReader,对打开socket获取DataNode输入流DataInputStream进行封装,开始读取文件数据,文件数据是DataNode按照每个chunk封装一次传输给客户端,客户端给每个chunk检查数据完整性。
提供给上层读取socket中数据流接口:
开始从一个个chunk中读取数据:
每个chunk的读取:
6) Block传输读协议
先是客户端打开连接后,向DataNode输入block的信息:
然后DataNode按照一个个chunk向DFSClient发送数据流供读,chunk的数据格式,按照数据读取先后顺序罗列:
- MapReduce(十五): 从HDFS读取文件的源码分析
- 第二人生的源码分析(十五)Mesh文件的读取
- HDFS读取文件操作的处理流程源码分析
- Hadoop源码分析:HDFS读取文件
- MapReduce源码分析之MapReduce如何读取、解析输入文件
- MapReduce(十六): 写数据到HDFS的源码分析
- 蔡军生先生第二人生的源码分析(十五)Mesh文件的读取
- Hadoop-2.4.1源码分析--HDFS读取文件
- hdfs上传文件的源码分析
- HDFS读文件过程分析:读取文件的Block数据
- HDFS读文件过程分析:读取文件的Block数据
- 从HDFS上读取带lzo压缩的SequenceFile文件
- 从hdfs中读取文件到hbase
- 从hdfs读取文件存到hbase
- 通过mapreduce程序读取hdfs文件写入hbase
- HDFS——如何从HDFS上读取文件内容
- HDFS写入文件操作的处理流程源码分析
- 读取hdfs上的文件
- 封装的评分星星类
- zero与usb-skeleton结合测试
- 文件的上传
- iwconfig用法
- 和码5.0版的说明
- MapReduce(十五): 从HDFS读取文件的源码分析
- 面试常见题之sizeof与strlen的区别
- CGContext一些绘图属性
- python+Django+pycharm 开发环境搭建
- dnsmasq用法
- FFplay的原理(3)
- 对系统的get异步请求进行一下小封装
- Java 调用MySQL存储过程配置与调用
- 解开Android应用程序组件Activity的"singleTask"之谜