HDFS学习笔记

HDFS简介

HDFS要实现以下目标：

1.兼容廉价的硬件设备
2.流数据读写
3.大数据集
4.简单的文件模型
5.强大的跨平台兼容性

块

HDFS默认一个块64MB，一个文件被分成多个块，以块作为存储单位，块的大小远远大于普通的文件系统，可以减少寻址开销
HDFS采用抽象的块概念可以带来以下几个明显的好处：
1.支持大规模文件存储：文件以块为单位进行存储，一个大规模文件可以被分拆成若干个文件块，不同的文件块可以被分发到不同的节点上，因此

，一个文件的大小不会受到单个节点的存储容量的限制，可以远远大于网络中任意节点的存储容量
2.简化系统设计：首先，大大简化了存储管理，因为文件块大小是固定的，这样就可以很容易计算出一个节点可以存储多少文件块；其次，方便了

元数据的管理，元数据不需要和文件块一起存储，可以由其他系统负责管理元数据
3.适合数据备份：每个文件块都可以冗余存储到多个节点上，大大提高了系统的容错性和可用性

NameNode

名称节点(NameNode)负责管理分布式文件系统的命名空间（Namespace），保存了两个核心的数据结构，即FsImage和EditLog。FsImage用于维

护文件系统树以及文件树中所有的文件和文件夹的元数据，操作日志文件EditLog中记录了所有针对文件的创建、删除、重命名等操作。

FsImage文件

FsImage文件中包含文件系统中所有目录和文件inode的序列化形式。每个inode是一个文件或目录的元数据的内部表示，并包含此类信息：文件的复制等级、修改和访问时间、访问权限、块大小以及组成文件的块。对于目录，则存储修改时间、权限和配额元数据

FsImage文件没有记录块存储在哪个数据节点。而是由名称节点把这些映射保留在内存中，当数据节点加入HDFS集群时，数据节点会把自己所包含的块列表告知给名称节点，此后会定期执行这种告知操作，以确保名称节点的块映射是最新的。

NameNode启动

1）NameNode启动的时候，首先将FsImage文件中的内容加载到内存中，之后再执行EditLog文件中的各项操作，使得内存中的元数据和实际的

同步，存在内存中的元数据支持客户端的读操作。
2）一旦在内存中成功建立文件系统元数据的映射，则创建一个新的FsImage文件和一个空的EditLog文件。
3）名称节点起来之后，HDFS中的更新操作会重新写到EditLog文件中，因为FsImage文件一般都很大（GB级别的很常见），如果所有的更新操

作都往FsImage文件中添加，这样会导致系统运行的十分缓慢，但是，如果往EditLog文件里面写就不会这样，因为EditLog 要小很多。每次执行

写操作之后，且在向客户端发送成功代码之前，edits文件都需要同步更新。

SecondaryNameNode

名称节点运行的过程中，随着操作的增加，EditLog文件会不断的增大，当EditLog变得非常大的时候，会导致名称节点启动操作非常慢。利用第二名称节点来解决这个问题，另外第二名称节点还可以作为冷备份。

SecondaryNameNode工作情况：

（1）SecondaryNameNode会定期和NameNode通信，请求其停止使用EditLog文件，暂时将新的写操作写到一个新的文件edit.new上来，这个操作是瞬间完成，上层写日志的函数完全感觉不到差别；
　　 （2）SecondaryNameNode通过HTTP GET方式从NameNode上获取到FsImage和EditLog文件，并下载到本地的相应目录下；
　　 （3）SecondaryNameNode将下载下来的FsImage载入到内存，然后一条一条地执行EditLog文件中的各项更新操作，使得内存中的FsImage保持最新；这个过程就是EditLog和FsImage文件合并；
　　 （4）SecondaryNameNode执行完（3）操作之后，会通过post方式将新的FsImage文件发送到NameNode节点上
　 （5）NameNode将从SecondaryNameNode接收到的新的FsImage替换旧的FsImage文件，同时将edit.new替换EditLog文件，通过这个过程EditLog就变小了

DataNode

数据节点是分布式文件系统HDFS的工作节点，负责数据的存储和读取，会根据客户端或者是名称节点的调度来进行数据的存储和检索，并且

向名称节点定期发送自己所存储的块的列表。每个数据节点中的数据会被保存在各自节点的本地Linux文件系统中

HDFS存储原理

冗余数据保存

作为一个分布式文件系统，为了保证系统的容错性和可用性，HDFS采用多副本的方案对数据进行冗余存储。通常一个数据块会被分布到不同的数据节点上。这样做的优点：1>加快了数据传输速度；2>容易检查数据错误;3>保证数据的可靠性。

数据出错与恢复

1>名称节点出错
名称节点保存着最核心的连个文件FsImage和EditLog，当这两个文件损坏，那么整个文件系统都将失效。因此，HDFS设置了备份机制，通过SecondaryNameNode上的FsImage和EditLog来进行数据恢复。
2>数据节点出错
每个数据节点会定期的想名称节点发送心跳，当网络或者数据节点出现故障时，名称节点就无法接收到心跳信息。那么将把没有心跳信息的节点标记为“宕机”，对应节点上的所有信息都会标记为“不可读”，这样就导致一些数据块副本数量小于冗余因子。名称节点会定期的检查每个副本的冗余情况，一旦发现某个文件的副本数量小于冗余因子，就会启动数据冗余复制生成新的副本。
3>数据出错
文件被创建的时候，客户端就会对每一个文件进行信息摘录，并把这些信息写入同一路径下的隐藏文件夹下面。当客户端读取到数据后，会对每一个文件快进行MD5和sha1校验。如果校验出错，就会请求读取其他节点的同一数据块，并向名称节点报告这个文件有错误，名称节点会定期的检查并且重新复制这个块。

HDFS读写

HDFS读取

HDFS写入