hadoop学习笔记(HDFS)
来源:互联网 发布:35mm定焦镜头推荐 知乎 编辑:程序博客网 时间:2024/05/16 02:54
HDFS的设计基础与目标:
(1)硬件错误是常态,因此需要冗余。
(2)为大数据而生,流式读写,批量读取而非随机读写。擅长数据分析而不是事务处理。
(3)大规模数据集。
(4)一次写多次读逻辑设计,即一旦写入,只能读,不能修改。
(5)程序才用“数据就近”原则分配节点执行。
HDFS的可靠性:
冗余副本策略、机架策略、心跳机制、安全模式、校验和、回收站、元数据保护、快照机制。
HDFS的体系结构:
元数据:事务日志(记录HDFS的元数据变化)、映像文件(fsimage ,存储文件系统命名空间的文件映像和文件属性等)。
读取数据流程(namenode不参与数据传输)。
0 0
- hadoop学习笔记(HDFS)
- hadoop-hdfs学习笔记
- Hadoop HDFS源码学习笔记(一)
- Hadoop HDFS源码学习笔记(二)
- Hadoop HDFS源码学习笔记(三)
- Hadoop HDFS源码学习笔记(四)
- Hadoop HDFS源码学习笔记(五)
- Hadoop分布式文件系统(HDFS)学习笔记
- Hadoop学习笔记(四)---HDFS概述
- Hadoop学习笔记(二)HDFS
- Hadoop学习笔记之---HDFS
- hadoop学习笔记<三>----HDFS
- hadoop学习笔记-HDFS原理
- Hadoop学习笔记---HDFS简介
- Hadoop学习笔记二---HDFS
- Hadoop学习笔记二---HDFS
- hadoop学习笔记-HDFS原理
- Hadoop学习笔记之HDFS
- 函数指针回调函数
- mysql安装流程
- 使用JS获取多组radio的value并判断是否选中
- 工作篇-电商项目需求总结下
- 技术与经济之一:关于市场与“紧缩政策”的讨论
- hadoop学习笔记(HDFS)
- CoreData的使用
- Arcengine开发基础
- js方法获取元素本身
- 主流手机分辨率与尺寸
- MFC 中 OnShowWindow函数的加入
- Android touchEvent事件传递
- 国外旋转楼梯sketchup建模教程v
- 选择系统相机和相册的图片的第三方