Hadoop学习日志之数据完整性
来源:互联网 发布:ssh 知乎 编辑:程序博客网 时间:2024/06/05 06:16
用户希望储存和处理数据的时候,不会有任何损失或者损坏。
Hadoop提供两种校验
2运行后台进程来检测数据块
校验和
写入数据节点验证
读取数据节点验证
恢复数据
Localfilesystem类
ChecksumfileSystem类
写入数据节点验证
Hdfs会对写入的所有数据计算校验和,并在读取数据时验证校验和。
元数据节点负责在验证收到的数据后,储存数据及其校验和。在收到客户端数据或复制其他datanode的数据时执行。
正在写数据的客户端将数据及其校验和发送到一系列数据节点组成的管线,管线的最后一个数据节点负责验证校验和
读取数据节点验证
客户端读取数据节点数据也会验证校验和,将它们与数据节点中储存的校验和进行比较。
每个数据节点都持久化一个用于验证的校验和日志。
客户端成功验证一个数据块后,会告诉这个数据节点,数据节点由此更新日志。
Localfilesystem类
Hadoop的LocalFileSystem类是用来执行客户端的校验和验证。当写入一个名为filename的文件时文件系统客户端会在包含文件块校验和的同一目录内建立一个名为
Filename.crc的隐藏文件。
阅读全文
0 0
- Hadoop学习日志之数据完整性
- hadoop学习之数据完整性
- Hadoop原理 之 数据完整性
- Hadoop 之 HDFS 的数据完整性
- Hadoop学习日志之大数据概念
- Hadoop HDFS数据完整性
- Hadoop数据完整性
- oracle学习 数据完整性
- Oracle之数据完整性
- Hadoop学习日志之CAP
- Hadoop学习日志之hadoop的组成
- ORACLE学习之路--管理数据完整性约束
- Oracle学习笔记之数据完整性、索引、权限、角色
- 6- hadoop 数据完整性与校验
- Oracle数据完整性学习笔记
- 数据库之数据的完整性
- Oracle笔记之数据完整性
- MSSQL之七 数据完整性
- js判断对象是否相等的简单方法
- 程序员面试金典:子串判断、最大连续数列和
- 谷歌正考虑商用量子计算服务
- Myeclipse--导入工程项目文件
- 面向对象知识点
- Hadoop学习日志之数据完整性
- mybatis 中的<![CDATA[ ]]>防止转义xml中特殊字符
- Linux安装MySQL
- 求矩阵的两对角线上的元素之和 oj15
- Hadoop IO总结和文件系统
- solid edge st8下载 v108.00.00.91 x64位中文版
- 题目1017:还是畅通工程
- Java入门基础之【基础语法】2
- 题目1004:Median