大数据-有关hdfs的学习
来源:互联网 发布:必应输入法mac 编辑:程序博客网 时间:2024/05/30 20:09
有关hdfs的链接
http://hadoop.apache.org/docs/current/api/ (Apache Hadoop Main 2.7.1 API)
http://slaytanic.blog.51cto.com/2057708/1101111/ (hdfs-site.xml 配置项说明)
http://archive-primary.cloudera.com/cm5/installer/5.4.3/ (cloudera-manager-installer.bin)
http://archive-primary.cloudera.com/cdh5/ (cloudera 官方库)
http://www.cloudera.com/content/cloudera/en/home.html (cloudera 官方网站)
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html (hdfs shell 命令)
http://www.cnblogs.com/xia520pi/archive/2012/05/28/2520813.html (参考文章)
HDFS简介
HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理带来了很多便利。
HDFS基础概念
1 数据块(block)
HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。
和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。
不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。
2 NameNode和DataNode
HDFS体系结构中有两类节点,一类是NameNode,又叫”元数据节点”;另一类是DataNode,又叫”数据节点”。这两类节点分别承担Master和Worker具体任务的执行节点。
2.1 元数据节点用来管理文件系统的命名空间
其将所有的文件和文件夹的元数据保存在一个文件系统树中。
这些信息也会在硬盘上保存成以下文件:命名空间镜像(namespace image)及修改日志(edit log)
其还保存了一个文件包括哪些数据块,分布在哪些数据节点上。然而这些信息并不存储在硬盘上,而是在系统启动的时候从数据节点收集而成的。
2.2 数据节点是文件系统中真正存储数据的地方。
客户端(Client)或者元数据信息(NameNode)可以向数据节点请求写入或者读出数据块。
其周期性的向元数据节点回报其存储的数据块信息。
2.3 从元数据节点(secondary namenode)
从元数据节点并不是元数据节点出现问题时候的备用节点,它和元数据节点负责不同的事情。
其主要功能就是周期性将元数据节点的命名空间镜像文件和修改日志合并,以防日志文件过大。这点在下面会相信叙述。
合并过后的命名空间镜像文件也在从元数据节点保存了一份,以防元数据节点失败的时候,可以恢复。
3 文件系统命名空间映像文件及修改日志
1)当文件系统客户端(Client)进行写操作时,首先把它记录在修改日志中(edit log)
2)元数据节点在内存中保存了文件系统的元数据信息。在记录了修改日志后,元数据节点则修改内存中的数据结构。
3)每次的写操作成功之前,修改日志都会同步(sync)到文件系统。
4)fsimage文件,也即命名空间映像文件,是内存中的元数据在硬盘上的checkpoint,它是一种序列化的格式,并不能够在硬盘上直接修改。
5)同数据的机制相似,当元数据节点失败时,则最新checkpoint的元数据信息从fsimage加载到内存中,然后逐一重新执行修改日志中的操作。
6)从元数据节点就是用来帮助元数据节点将内存中的元数据信息checkpoint到硬盘上的
checkpoint的过程如下:
1.从元数据节点通知元数据节点生成新的日志文件,以后的日志都写到新的日志文件中。
2.从元数据节点用http get从元数据节点获得fsimage文件及旧的日志文件。
3.从元数据节点将fsimage文件加载到内存中,并执行日志文件中的操作,然后生成新的fsimage文件。
4.从元数据节点奖新的fsimage文件用http post传回元数据节点
5.元数据节点可以将旧的fsimage文件及旧的日志文件,换为新的fsimage文件和新的日志文件(第一步生成的),然后更新fstime文件,写入此次checkpoint的时间。
6 .这样元数据节点中的fsimage文件保存了最新的checkpoint的元数据信息,日志文件也重新开始,不会变的很大了。
- 大数据-有关hdfs的学习
- 大数据学习5:hdfs和yarn 的学习记录
- 大数据学习6:HDFS的一些理解
- 有关大数据学习的笔记和遇到的问题
- 大数据学习--java基础--二进制有关
- 有关大数据的误区:数据统计≠大数据
- 有关大数据的误区:数据统计≠大数据
- 大数据(二) - HDFS
- 大数据之HDFS
- 大数据学习[08]:基于HDFS存储的Flume-ng1.7.0集群实践
- 大数据学习35:一个scala 操控 HDFS 文件目录的小例子
- 大数据学习9:HDFS读写流程理解
- 大数据学习10:HDFS-HA原理和理解
- 大数据学习3——分布式文件系统HDFS
- 大数据学习篇:hadoop深入浅出系列之HDFS(二)——HDFS体系结构
- 大数据之hadoop【hdfs】
- 我的大数据之路(三):HDFS文件系统
- 大数据框架hadoop的文件系统(HDFS)命令大全
- crontab安装使用
- synchronized关键字
- 推荐算法之用户推荐(UserCF)和物品推荐(ItemCF)对比
- 网页设计入门
- mac上brew安装pg数据库默认没有创建postgres用户?
- 大数据-有关hdfs的学习
- 看懂UML类图和时序图
- 滤波算法
- android 源码调试中一系列默认值修改
- JAVA有选择性删除一个集合里的所有数据
- VBScript-----妙用SendKeys简化重复操作
- 登录---验证---分页
- Project facet java version 1.8 is not supported
- Android studio运行加速教程