<hadoop学习历程>--笔记心得3-HDFS数据管理与容错
来源:互联网 发布:mysql 快照读有什么用 编辑:程序博客网 时间:2024/04/30 10:55
一:数据容错
数据在一台机架内存放两个数据块,另外一个机架存放复制的一份,这样保证了
(1)同一个机架内数据损坏一个,也可以就近根据同一个机架内取得数据,
(2)整个机架损坏一个,也可以由另外的一个机架取的数据
二:心跳检测
数据存储到机架内后,如何知道数据块有那些损坏了呢?
我们可以定时任务,定时扫描机架内的数据,看看哪些数据块损坏,然后报告给NameNode管家,管家在更改存放文件与数据块的映射表 和数据块与数据节点的映射表这样保证所有数据都是即时有效的。
总统死掉了,副总统要被选举为总统,这样保证了管家一直正常。hadoop现在是单节点的NameNode,管家死掉了,相当于书本没有了目录,数据就全部丢失了,所以为了保证数据安全,添加了SecondaryNameNode,副管家。
0 0
- <hadoop学习历程>--笔记心得3-HDFS数据管理与容错
- <hadoop学习历程>--笔记心得4-HDFS文件读写流程
- <hadoop学习历程>--笔记心得5-HDFS的特点
- HDFS中数据管理与容错
- <hadoop学习历程>--笔记心得8-总结
- <hadoop学习历程>--笔记心得1-hadoop基本思想与概念
- <hadoop学习历程>--笔记心得2-hadoop家族简介
- <hadoop学习历程>--笔记心得6-MapReduce原理
- <hadoop学习历程>--笔记心得7-环境准备
- <hadoop学习历程>--笔记心得8-HA环境搭建试验
- hadoop-hdfs学习笔记
- java学习历程笔记心得
- 【hadoop】 2004-hdfs datanode容错
- (Hadoop学习笔记-3) HDFS工作原理
- Hadoop学习笔记 容错(一)
- Hadoop学习笔记之---HDFS
- hadoop学习笔记<三>----HDFS
- hadoop学习笔记-HDFS原理
- static方法
- Android可展开的列表组件(ExpandableListView)模板
- PHP的四种基本排序方法
- CSS3 传统布局(上)(20160902-0033)
- IOS 动态的改变label的高度
- <hadoop学习历程>--笔记心得3-HDFS数据管理与容错
- iOS 导航控制器边缘滑动 全屏滑动 以及手势冲突问题
- Codeforces Round #344 (Div. 2)-C. Report(单调栈)
- HTTP与TCP的关系
- GPS坐标(经纬度)转换为百度坐标(经纬度)续
- Android中WebView的使用
- Java 中的 ==, equals 与 hashCode 的区别与联系
- 【第2周 项目0 - 宣告“主权”】 .
- 给 Android 开发者的 RxJava 详解