某XXFS分布式文件系统设计概述
来源:互联网 发布:客车订票用什么软件 编辑:程序博客网 时间:2024/06/07 15:04
一、为应对海量数据,系统架构发生变迁
1. 传统系统架构:Server + SAN
主导厂商:EMC/NetAPP/Oracle/IBM
特点:使用SAN存储(FC),价格昂贵,但速度快,响应时间10ms
应用接口:提供通用POSIX/SQL接口
2. 当前系统架构:IP + Cluster
主导厂商:Google/Amazon
特点:便宜,但速度较慢(可接收), 100ms
应用接口:使用GFS/BigData,不支持POSIX/SQL接口
二、XX分布式文件系统:面向企业计算和存储系统的断代性创新的分布式文件系统
基本架构如下:
----------------------------------------------------------------------------------------------------
NFS/CIFS (Client)
----------------------------------------------------------------------------------------------------
Cloud Gateway(可选) POSIX NODE (Service Layer)
----------------------------------------------------------------------------------------------------
LPM Switch(可选) Ethernet Switch (Distribution Layer)
----------------------------------------------------------------------------------------------------
Local Storage Layer (Storage Layer)
----------------------------------------------------------------------------------------------------
其中,NFS/CIFS是客户端,提供对通过文件访问协议支持。
POSIX NODE:
简称P Node,用来向客户端提供POSIX服务;同时提供Server端的CACHE和WRITE LOG. 主要缓存对FS的写,以批量更新。
同时,为避免P Node失效,会将待写数据备份到别的P Node,等备份节点也写成功后才会向客户端返回。P Node对FS的元数据管理,要借助本地文件系统。
内嵌Dedup引擎,以对数据进行分片和数据去重。
Ethernet Switch:
简称L NODE,是XXFS的卷管理器,负责对P NODE中数据分片的定位。
可以多个L NODE组成一个DHT环,以实现负责均衡。
在C NODE(PAXOS,系统中心控制节点)的控制下,决定了数据存储位置。
Local Storage Layer:
简称O NODE,负责数据的本地存储和保护,实现了DPU/DPG(数据保护单元和数据保护组),它们采用EraseCode来具体实现。
- 某XXFS分布式文件系统设计概述
- 分布式文件系统概述(ZZ)
- 分布式文件系统概述
- 分布式文件系统概述
- fastdfs分布式文件系统概述
- Hadoop-分布式文件系统概述
- (一)分布式文件系统概述
- 分布式文件系统概述
- 典型分布式文件系统概述I
- 分布式文件系统:概述(1)
- 分布式文件系统HDFS设计
- 分布式文件系统设计
- 淘宝分布式文件系统TFS设计
- 分布式文件系统FastDFS设计原理
- 分布式(集群)文件系统的设计
- 分布式文件系统FastDFS设计原理
- 淘宝分布式文件系统TFS设计
- 分布式文件系统FastDFS设计原理
- 非模态对话框
- 输入法漫笔
- JSP的三个编译指令-page,include详解
- HOJ1760 The jackpot--------最大子段和问题
- malloc/free与new/delete的区别
- 某XXFS分布式文件系统设计概述
- 影响Java EE性能的十大问题
- nyoj 511 双向静态链表
- linux 用户管理
- PHP网络编程技术与实例
- 在SQL2005中输出逗号连接的字符串
- MSComm1->Input 二進制模式
- ios6和iphone5的适配<1>之UI适配
- FastReport 中文菜单显示不全或者乱码解决方法