hadoop学习之数据复制

来源:互联网 发布:软件 竞业协议 编辑:程序博客网 时间:2024/05/16 06:26
HDFS被设计为能够在一个大集群中跨机器可靠第存储超大文件,他将每个文件存储为一系列的数据块,除了最后一个,所有的数据块都是同样大小的。为了容错,文件的所有数据块都会有副本。每个文件的数据块大小和副本系数都是可配置的。应该用程序可以指定某个文件的副本数目,副本系数可以再文件创建的时候指定,也可以在创建之后改变。HDFS文件都是一次性写入的,并且要求在任何时候都只能有一个写入者。

namenode全权管理数据块的复制,它周期性的从集群中的每个datanode接受心跳信号和块状态报告,接受到心跳信号意味着datanode节点工作正常,块状态报告包含了一个该datanode上所有数据块的列表!