HDFS_对象存储
来源:互联网 发布:淘宝的个人中心在哪里 编辑:程序博客网 时间:2024/06/05 15:18
对象存储(Ozone)的含义
目标数据从对象中进行读写,然后通过键值获取对应的对象,整个存储的形式为key-object的存储方式。较典型的例子:亚马逊的S3存储和阿里云的OSS存储。
在Ozone中,一个bucket可以拥有一个或多个object,bucket存在于StorageVolume中,并且在StorageVolume中拥有唯一的名称。StorageVolume会对其所包含的bucket对象进行数量上的配额限制。借此管理员可以分配许多有配额限制的StorageVolume给不同的用户。
对象存储(Ozone)的设计
1)与HDFS共享DataNode数据存储
Ozone的出现使得HDFS在使用上与原来的块数据读写的方式有很大不同,因此,这里将以一个独立的block pool来存储Ozone上的数据。也就是说DataNode会同时为HDFS的block pool和Ozone的block pool存储数据。同样的,Ozone的block pool也可以为多个,分别代表多个不同的Ozone命令空间。
2)存储容器(Storage Container)
一个存储容器从概念上来讲,指的是用来存储Ozone数据(其实也是bucket中的数据)和Ozone元数据的一个存储单元。与HDFS不同的一点是,Ozone没有一个类似于NameNode这样的中心控制节点。相反,它是一个分离式的元数据的存储与管理器,这些元数据分布式的存在于各个存储容器中。
在目前的设计中,为了简易性,一个object对象完全存在于单一存储容器中
阅读全文
0 0
- HDFS_对象存储
- HDFS_异构存储
- HDFS_缓存
- HDFS_快照
- HDFS_块
- HDFS_流
- HDFS_基本概念
- HDFS_副本和认证
- HDFS_磁盘目录服务
- HDFS_视图文件系统
- HDFS_数据加密空间
- HDFS_纠删码技术
- HDFS_镜像文件
- HDFS_数据迁移&节点迁移
- 对象存储
- 对象存储
- 对象存储
- 对象存储
- “Incremental Linker已停止工作”的处理方法
- Cad转换
- cronSchedule 配置说明
- 生活小记45
- Tensorflow flags = tf.app.flags 的使用
- HDFS_对象存储
- mysql中查询一个表中某个月每天的数据量
- log4j2
- Inception-ResNet2
- 六款互联网人不容错过的软件神器
- 色彩表示与编码
- Spring4.3入门 Spring 整合hikari
- 测试 mysql 实际连接数
- Binder的JAVA接口