hdfs 上传文件(写数据)流程

来源:互联网 发布:java 数据输入 编辑:程序博客网 时间:2024/06/05 18:57

hdfs 上传文件(写数据)流程

需求:向hdfs上传 300M文件text.txt 到 /mydir 目录
注意:客户端会把300M文件切分为128M(blk_1)、128M(blk_2)、44M(blk_3)三块,切块大小需要根据hadoop的配置来,2.x以上默认是128M

  • 1、向namenode请求上传文件 text.txt 到 hdfs的/mydir目录下
  • 2、namenode返回允许上传的状态
  • 3、上传text.txt的blk_1
  • 4、namenode返回上传的datanode路径{blk_1,[dn1,dn2,dn3]}
  • 5、client请求3台dn中的一台dn1上传数据(本质上是一个RPC调用,建立pipeline),dn1收到请求会继续调用dn2,然后dn2调用dn3,将整个pipeline建立完成,逐级返回客户端
  • 6、client开始往dn1上传第一个block(先从磁盘读取数据放到一个本地内存缓存),以packet为单位,dn1收到一个packet就会传给dn2,dn2传给dn3;dn1每传一个packet会放入一个应答队列等待应答
  • 7、当一个block传输完成之后,client再次请求namenode上传第二个block的服务器

基本流程如图所示:

这里写图片描述