hdfs写文件流程
来源:互联网 发布:永恒网络 编辑:程序博客网 时间:2024/06/06 01:55
eg:client上传150M的数据到hdfs
1.客户端向namenode请求上传数据。是先写到edits文件中,记录操作日志
2.namenode检查连接条件,返回同意连接
3.client端请求上传第一个block(128M),返回dn列表
4.nn返回可用的dn列表dn1,dn2,dn4(dn选择策略:距离/空间;第一个副本优先选择同机架的dn节点,第二个副本考虑安全性要跨机架,第三个副本同机架)
5.client端获取dn列表,尝试连接dn1节点(nio),连接成功后,dn1尝试连接dn2,dn2连接dn4,连接成功后,逐级返回给客户端
6.client接收到连接成功信息后,向dn1节点发送第一个block(形式:64k packet),写入到dn1缓存区,dn1节点进行校验(chunk),同时dn1向dn2赋值,流程相同,写入缓存区。
7.只要有一个写入成功就返回给客户端,因为某个节点失败可以通过nn配置的副本数量启动时进行赋值。
8.在请求上传第二个block。
阅读全文
0 0
- hdfs写文件流程
- hdfs 上传文件(写数据)流程
- hadoop Hdfs写流程
- HDFS 写流程
- hadoop put内部调用,hdfs写文件流程
- Hadoop深入学习:解析HDFS的写文件流程
- hadoop之 解析HDFS的写文件流程
- HDFS文件创建流程
- HDFS-文件读取流程
- HDFS文件读取流程
- HDFS文件读写流程
- HDFS读写文件流程
- hdfs读文件流程
- HDFS读写文件流程
- HDFS文件读写流程
- HDFS读文件流程
- HDFS写文件解析
- HDFS写文件解析
- jmock
- sssss
- 【shell学习笔记】$#,$@,$0,$1,$2的含义解释
- [置顶]ubuntu 13.04 vim 的配置
- 【NOIP2017提高A组模拟9.14】生命之树 trie+启发式合并
- hdfs写文件流程
- Spark---JVM调优之原理以及降低cache操作的内存占比
- C++面试必知必会 (1)
- LinuxIO多路复用之epoll
- 第一天
- 删数问题(n位数,删掉k位,使其最大)
- shell 基础
- Java根据模板生成excel并下载
- Xilinx SDK 工程添加include 路径