Client向HDFS写入数据的过程解析
来源:互联网 发布:中美军事对峙知乎 编辑:程序博客网 时间:2024/05/16 01:57
转载自:http://www.linuxidc.com/Linux/2012-09/70998.htm
Client以数据块(Block)为单位进行数据存储。按照我们一般的理解,Client向HDFS写入数据,首先需要向NameNode申请Block;申请Block完成后,申请DataNode(包括备份存储的DataNode);二者完成后,Clent进行与DataNode之间的数据存储。
我们知道NameNode之中维护两张非常重要的表,一张是filename→blocks的映射;另外一张是block→machinelist的映射。如果是我进行设计,这两张表都可以在申请的时候完成记录。HDFS在在实现过程中,采用了另外一种方式。首先filename→blocks是在申请过程中进行记录的。当Client申请Block的时候,NameNode分配Block给客户端,并将该Block记录到该File的INode当中;在申请Block的时候,NameNode还会将DataNode和备份存储的DataNode发送给Client。但是,此时NameNode并没有记录Block和DataNode(machinelist)的映射关系。Client向DataNode写入数据完成后,由DataNode向NameNode周期性的进行汇报,报告自己节点所存储的所有Block(思考一下,为什么这么实现?)。我自己以为之所以要这么实现主要是为了考虑数据的可靠性,如果在Client和数据的传输过程中数据出现了问题,那么已经记录在NameNode 中的block→machinelist就会随之改变。当然这只是我自己的考虑,正确与否还有待考证。另外还有一个需要考虑的问题是,DataNode报告自己的block列表的频率是多少呢?
本篇文章来源于 Linux公社网站(www.linuxidc.com) 原文链接:http://www.linuxidc.com/Linux/2012-09/70998.htm
- Client向HDFS写入数据的过程解析
- Client向HDFS写入数据的过程解析
- Hadoop源码分析HDFS Client向HDFS写入数据的过程解析
- HDFS的数据写入过程
- 客户端向HDFS写入过程源码跟踪及剖析
- hbase写入性能测试(从hdfs向hbase写入数据)
- HDFS数据的读写过程
- HDFS的数据读取过程
- HBase写入数据的过程
- hdfs client实现原理解析
- HDFS写入和读取过程
- 向存在的文件中写入数据
- Hadoop第一个程序,利用API向HDFS中写入数据
- Hadoop第一个程序,利用API向HDFS中写入数据
- Hadoop向HDFS写入、删除、读取文件
- HDFS读写过程解析
- HDFS读写过程解析
- HDFS读写过程解析
- [RTT例程练习] 3.3 静态内存管理,内存池mempool
- 2013年学习计划
- java 冒泡排列法
- [OpenCV学习]1、环境搭建
- sqlserver的insert select 和update select
- Client向HDFS写入数据的过程解析
- 2013年微软实习生招聘笔试题目(c/c++你懂多少?)
- Ubuntu下安装Nginx
- 仿苹果的产品展示菜单(横向滚动)
- GCC编译器
- C# System.Diagnostics.Process发送邮件&修改内存中值&发送表格格式内容邮件
- Ubuntu 用户安装漂亮易操作 Cinnamon
- poj 2141
- 传递动态内存