<hadoop学习历程>--笔记心得3-HDFS数据管理与容错

来源:互联网 发布:mysql 快照读有什么用 编辑:程序博客网 时间:2024/04/30 10:55

一:数据容错
这里写图片描述
数据在一台机架内存放两个数据块,另外一个机架存放复制的一份,这样保证了
(1)同一个机架内数据损坏一个,也可以就近根据同一个机架内取得数据,
(2)整个机架损坏一个,也可以由另外的一个机架取的数据

二:心跳检测
这里写图片描述
数据存储到机架内后,如何知道数据块有那些损坏了呢?
我们可以定时任务,定时扫描机架内的数据,看看哪些数据块损坏,然后报告给NameNode管家,管家在更改存放文件与数据块的映射表 和数据块与数据节点的映射表这样保证所有数据都是即时有效的。

这里写图片描述
总统死掉了,副总统要被选举为总统,这样保证了管家一直正常。hadoop现在是单节点的NameNode,管家死掉了,相当于书本没有了目录,数据就全部丢失了,所以为了保证数据安全,添加了SecondaryNameNode,副管家。

0 0
原创粉丝点击