HDFS读文件解析
来源:互联网 发布:windows软件包 编辑:程序博客网 时间:2024/04/27 19:26
下图描述了在文件读过程中,client、NameNode和DataNode三者之间是如何互动的。
1. client调用get方法得到HDFS文件系统的一个实例(DistributedFileSystem)。然后调用它的open方法。
2. DistributedFileSystem通过RPC远程调用NameNode决定文件文件的block的位置信息。对于每一个bolck,NameNode返回block所在的DataNode(包括副本)的地址。DistributedFileSystem返回FSDataInputStream给client用来读数据。FSDataInputStream封装了DFSInputStream用于管理NameNode和DataNode的IO。
3. client调用FSDataInputStream的read方法。
4. DFSInputStream保存了block块所在的DataNode的地址信息。DFSInputStream连接第一个block的DataNode,read block数据,传回给client。
5. 当第一个block读完,DFSInputStream关掉与这个DataNode的连接。然后开始第二个block。
6. 当client读结束,调用FSDataInputStream的close方法。
在读的过程中,如果client和一个datanode通讯时出错,他会连接副本所在的datanode。这种client直接连接datanode读取数据的设计方法使HDFS可以同时相应很多client的同时并发。因为数据流量均匀的分布在所有的datanode上,NameNode只负责block的位置信息请求。
- HDFS读文件解析
- HDFS读文件解析
- HDFS写文件解析
- HDFS写文件解析
- HDFS写文件解析
- HDFS读写文件实例与解析
- HDFS读写文件实例与解析
- HDFS文件的读写操作理论解析
- MR解析hdfs操作日志文件示例
- hdfs读文件流程
- HDFS读文件流程
- HDFS镜像文件的解析与反解析
- HDFS 解析
- Hadoop深入学习:解析HDFS的写文件流程
- 关于CDH页面下载HDFS文件地址解析出错
- hadoop之 解析HDFS的写文件流程
- HDFS文件
- hdfs文件校验 hdfs fsck
- 创业者们的19个Surprises! from 郑昀ID:zhengyun_ustc
- 火狐插件: Vimperator操作指南
- 联想在又走回Linux的老路?
- Android中的BatteryService及相关组件
- 计算机名称更改以后,无法添加、更新或删除从msx服务器上发起的作业
- HDFS读文件解析
- JavaScript调用C++函数
- 好的后台源码和jQuery学习组
- 动态内存的问题
- AJAX技术使用XMLHttpRequest对象传递参数的中文乱码问题
- 关于 Z B Zeng
- linux shell 中"2>&1"含义
- 全局变量和局部变量在内存里的区别
- jakarta regexp (java struts正则表达式)