hdfs 上传文件(写数据)流程
来源:互联网 发布:java 数据输入 编辑:程序博客网 时间:2024/06/05 18:57
hdfs 上传文件(写数据)流程
需求:向hdfs上传 300M文件text.txt 到 /mydir 目录
注意:客户端会把300M文件切分为128M(blk_1)、128M(blk_2)、44M(blk_3)三块,切块大小需要根据hadoop的配置来,2.x以上默认是128M
- 1、向namenode请求上传文件 text.txt 到 hdfs的/mydir目录下
- 2、namenode返回允许上传的状态
- 3、上传text.txt的blk_1
- 4、namenode返回上传的datanode路径{blk_1,[dn1,dn2,dn3]}
- 5、client请求3台dn中的一台dn1上传数据(本质上是一个RPC调用,建立pipeline),dn1收到请求会继续调用dn2,然后dn2调用dn3,将整个pipeline建立完成,逐级返回客户端
- 6、client开始往dn1上传第一个block(先从磁盘读取数据放到一个本地内存缓存),以packet为单位,dn1收到一个packet就会传给dn2,dn2传给dn3;dn1每传一个packet会放入一个应答队列等待应答
- 7、当一个block传输完成之后,client再次请求namenode上传第二个block的服务器
基本流程如图所示:
阅读全文
0 0
- hdfs 上传文件(写数据)流程
- hdfs写文件流程
- HDFS的工作机制,HDFS写数据流程,HDFS读数据流程(来自学习资料)
- hadoop源码解析之hdfs写数据全流程分析---创建文件
- HDFS上传文件和读文件的流程
- Hadoop-HDFS(二)写流程
- hadoop Hdfs写流程
- HDFS 写流程
- hadoop put内部调用,hdfs写文件流程
- Hadoop深入学习:解析HDFS的写文件流程
- hadoop之 解析HDFS的写文件流程
- 大数据学习篇:hadoop深入浅出系列之HDFS(三) ——HDFS读文件和写文件
- HDFS读写数据流程
- Hdfs读写数据流程
- hdfs 下载文件(读数据)流程
- HDFS文件创建流程
- HDFS-文件读取流程
- HDFS文件读取流程
- 虚拟币交易平台在交易中开发哈希现金(HashCash)机制更安全
- python 3.x 错误 ‘generator’ object has no attribute ‘next’
- matplotlib学习笔记
- Jupyter Notebook 的快捷键
- linux查看设置系统时区
- hdfs 上传文件(写数据)流程
- 【物联网安全】应用层与感知终端之间的交互流程
- 最基础的代码设计模式-健壮可靠宽容
- F
- AndroidStudio隐藏的几个小操作
- 基于Android的“健康宝”体检APP(七)
- CentOS7下搭建GitLabCE9.0.0环境&&汉化
- CodeForces-89D:Space mines(思维)
- android教程