Hadoop之HDFS文件读取流程
来源:互联网 发布:洛阳师范网络 编辑:程序博客网 时间:2024/05/17 08:56
Hadoop之HDFS文件读取流程
一、HDFS文件读取流程
1、Client调用FileSystem.open()方法:
a) FileSystem通过RPC(协议)与NameNode通信,NameNode返回该文件的部分或者全部block(块)列表(含有block拷贝的DataNode地址)
b) 选取举例客户端最近的DataNode建立连接,读取block,返回FSDataInputStream
2、Client调用输入流的read()方法:
a) 当读到block结尾时,FSDataInputStream关闭与当前DataNode的连接,并为读取下一个block寻找最近DataNode
b) 读取完一个block都会进行checksum验证,如果读取DataNode时出现错误,客户端会通知NameNode,然后再从狭义个拥有该block拷贝的DataNode继续读
c) 如果block列表读完,文件还未结束,FileSystem会继续从NameNode获取下一批block列表
3、关闭FSDataInputStream
二、HDFS文件写入流程
1、Client调用FileSystem的create()方法:
a) FileSystem向NameNode发出请求,在NameNode的namespace里面创建一个新文件,但是并不关联任何块
b) NameNode检查文件是否已存在、操作权限。如果检查通过,NameNode记录新文件信息,并在某一个DataNode上创建数据块
c) 返回FSDataOutputStream,将Client引导至该数据块执行写入操作
2、Client条用输出流的write()方法:HDFS默认将每个数据块放置3份。FSDataOutputStream将数据首先写到第一个节点,第一个节点将数据包传送并写入第二个节点,第二个节点写入第三个节点
3、Client调用流的close()方法:flush缓冲区的数据包,block完成复制分数后,NameNode返回成功消息
以上就是Hadoop之HDFS文件读取流程全部内容了。参考了,云帆大数据视频课程。如果有错误或问题,评论留言一起积极讨论。
- Hadoop之HDFS文件读取流程
- Hadoop学习之HDFS文件读取
- HDFS-文件读取流程
- HDFS文件读取流程
- hadoop源码解析之hdfs读取数据全流程分析
- hadoop之 解析HDFS的写文件流程
- 【Hadoop】HDFS - 创建文件流程详解
- 【Hadoop】HDFS - 创建文件流程详解
- Hadoop向HDFS写入、删除、读取文件
- Hadoop java实现读取hdfs文件
- Hadoop源码分析:HDFS读取文件
- Hadoop之HDFS文件操作
- Hadoop之HDFS文件操作
- HADOOP之HDFS文件操作
- Hadoop之HDFS文件操作
- Hadoop之HDFS文件操作
- Hadoop之HDFS文件操作
- Hadoop之HDFS文件操作
- Android支付宝和友盟推送SDK编译冲突Unable to execute dex: Multiple dex files define Lcom/ta/utdid2/
- 从”JAVA“而终 3 :配置java运行环境以及Myeclipse的安装
- unity制作斗地主游戏大致流程
- IOS修复两个导航栏状态不一致导致跳转时,导航栏黑底的问题
- 移动端获取屏幕宽度
- Hadoop之HDFS文件读取流程
- VS2013启动调试出错的解决方案
- Java 泛型中? super T和? extends T的区别
- OpenEmbedded 入门 (二):编译Openmoko的3个版本
- DriverStudio驱动程序开发工具包的安装说明(DS3.2及以下版本)
- mysql 从库I/O及SQL thread 状态解释
- 详解Java GC的工作原理+Minor GC、FullGC
- iscoll.js
- Android ImageView扩展 支持本地gif图片 支持网络gif图片