PanasasFS File System 介绍

来源:互联网 发布:mysql linux 登录 编辑:程序博客网 时间:2024/05/16 01:00

Panasas公司于1999年由卡内基梅隆大学的Garth Gibson等人创建。其提供的并行文件系统PanFS通用的并行文件系统,目前其主要的应用领域和luster类似,都是用于HPC领域,这就要求其具有高可用,可扩展行,高性能,通过分布式锁提供的强一致性。

体系架构


如图Figure1 所示,整个存储集群分为两类节点:Storage node 和 Manage Node,其比例一般是10:1, 该比例是可以设置。存储节点实现了对象存储。管理节点由四部分组成:PanFS实现了分布式的元数据管理。 SysMgr 通过实现了Paxos选举算法来提供了高可用的集群管理,管理所有的节点。同时提供了PanFS提供了NFS/CIFS 导出接口。

PanFS的体系结构也是通常的三部分, 数据服务器,元数据服务器和客户端三部分。 数据服务器对应的StorageNode,元数据服务器对应的是Manage node 里面PanFS,在Manage Node 里提供了SysMgr的管理节点。

我们重点关注的是,其如何提供高可用,

首先看一下对象存储(Object Storage),所谓对象,就是数据(data)和属性(attributes)的容器. 对象提供两层命名空间(partition Id / Object ID), 对象的接口提供了基本的对象操作:如创建/删除对象,基于byte的读写对象。

存储节点用FreeBSD操作系统,使用OSDFS这个自己写的特殊的本地文件系统。

数据是通过RAID1或者RAID5来实现容错。小文件用mirror,大文件用strip后的RAID5

文件的数据通过在多个对象上strip来实现冗余和高带宽。文件的元数据是通过对象的属性来保存。整个文件系统的元数据是保存在对象的属性中的。

SysMgr用来管理整个机器的配置,错误检测。

其高可用是通过Client-driven, per-file RAID  客户端实现基于文件的RAID。


其客户端实现了POSIX接口。

原创粉丝点击