(5).hdfs数据读过程概述
来源:互联网 发布:mac brew cask 编辑:程序博客网 时间:2024/06/05 12:25
(1)客户端将要读取的文件路径发送给namenode,namenode获取文件的元信息(主要是block的存放位置信息)返回给客户端,客户端根据返回的信息找到相应datanode逐个获取文件的block并在客户端本地进行数据追加合并从而获得整个文件
(2)详细步骤解析
1.跟namenode通信查询元数据,找到文件块所在的datanode服务器
2.挑选一台datanode(就近原则,然后随机)服务器,请求建立socket流
3.datanode开始发送数据(从磁盘里面读取数据放入流,以packet为单位来做校验)
4.客户端以packet为单位接收,现在本地缓存,然后写入目标文件
阅读全文
0 0
- (5).hdfs数据读过程概述
- (4). hdfs数据写过程概述
- HDFS读写数据过程
- HDFs数据读取过程
- HDFS写数据过程
- HDFS数据的读写过程
- HDFS的数据读取过程
- HDFS的数据写入过程
- 数据挖掘过程概述
- 回顾从hdfs数据读过程看RPC
- HDFS读文件过程分析:读取文件的Block数据
- HDFS读文件过程分析:读取文件的Block数据
- HDFS读过程分析
- HDFS概述
- HDFS概述
- HDFS概述
- HDFS概述
- HDFS概述
- 数据结构相关公式
- Backbone入门讲解
- 论文解读Face Detection using Deep Learning: An Improved Faster R-CNN Approach
- kaggle 泰坦尼克号生还者预测
- cygwin跨平台移植 gcc+vc联合使用的方法和注意事项
- (5).hdfs数据读过程概述
- WordPress“正在执行例行维护,请一分钟后回来”
- 职员试用通知单
- Django-REST之quickstart快速开始-翻译及自己的学习笔记(更新完善中...)
- Kubernetes网络概述
- fetch 使用 form data 方式提交
- jq获取input值的各种方法
- 异常与包
- JS中的PadLeft、PadRight,位数不足,自动补位,String扩展方法