Hadoop中hdfs的体系结构和读写过程
来源:互联网 发布:数据存储方案hadoop 编辑:程序博客网 时间:2024/05/17 08:26
HDFS的体系架构
整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持,并通过MR来实现对分布式并行任务处理的程序支持。
HDFS采用主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的(在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改hadoop源代码实现的功能,在最新的版本中就已经实现了)。NameNode作为主服务器,管理文件系统命名空间和客户端对文件的访问操作。DataNode管理存储的数据。HDFS支持文件形式的数据。
从内部来看,文件被分成若干个数据块,这若干个数据块存放在一组DataNode上。NameNode执行文件系统的命名空间,如打开、关闭、重命名文件或目录等,也负责数据块到具体DataNode的映射。DataNode负责处理文件系统客户端的文件读写,并在NameNode的统一调度下进行数据库的创建、删除和复制工作。NameNode是所有HDFS元数据的管理者,用户数据永远不会经过NameNode。
如图:HDFS体系结构图
图中涉及三个角色:NameNode、DataNode、Client。NameNode是管理者,DataNode是文件存储者、Client是需要获取分布式文件系统的应用程序。
文件写入:
1) Client向NameNode发起文件写入的请求。
2) NameNode根据文件大小和文件块配置情况,返回给Client它管理的DataNode的信息。
3) Client将文件划分为多个block,根据DataNode的地址,按顺序将block写入DataNode块中。
文件读取:
1) Client向NameNode发起读取文件的请求。
2) NameNode返回文件存储的DataNode信息。
3) Client读取文件信息。
HDFS作为分布式文件系统在数据管理方面可借鉴点:
文件块的放置:一个Block会有三份备份,一份在NameNode指定的DateNode上,一份放在与指定的DataNode不在同一台机器的DataNode上,一根在于指定的DataNode在同一Rack上的DataNode上。备份的目的是为了数据安全,采用这种方式是为了考虑到同一Rack失败的情况,以及不同数据拷贝带来的性能的问题。
- Hadoop中hdfs的体系结构和读写过程
- Hadoop中hdfs的读写过程
- hdfs体系结构与读写过程
- hadoop非mapreduce过程对hdfs文件的读写
- Hadoop之HDFS文件读写过程
- Hadoop,HDFS体系结构
- Hadoop体系结构之 HDFS
- HDFS数据的读写过程
- HDFS读写文件的过程
- hadoop 在hdfs中读写文件
- hadoop中HDFS读写机制解析
- HDFS体系结构及读写流程
- 深入学习Hadoop 2 - HDFS的读写
- 深入学习Hadoop-HDFS的读写
- hadoop实实的体验 hdfs读写
- Hadoop的HDFS Java pai 读写操作
- Hadoop源码分析笔记(五):HDFS特点和体系结构
- Hadoop学习总结之二:HDFS读写过程解析
- 二叉树层级遍历之每层最后一个值
- 关于SetTimeout性能的问题
- 颜色创建图片、Button的custom、system区别 selected、highlighted区别;
- 制作天空盒及将天空盒的场景反映在材质上
- 怎样在linux下正确快速的进行Java的安装
- Hadoop中hdfs的体系结构和读写过程
- PHP7源码安装Redis和Redis拓展
- Qt下将图片,文字等输出为PDF
- 汲取别人的知识(异常、常用类、数组)
- git教程
- 【笔记】IPV6正则表达式
- Makefile学习笔记5
- 最简单的XML格式Excel表格文件
- Android 6.0 Framework源码解析系列[目录]