PanasasFS File System 介绍
来源:互联网 发布:mysql linux 登录 编辑:程序博客网 时间:2024/05/16 01:00
Panasas公司于1999年由卡内基梅隆大学的Garth Gibson等人创建。其提供的并行文件系统PanFS是通用的并行文件系统,目前其主要的应用领域和luster类似,都是用于HPC领域,这就要求其具有高可用,可扩展行,高性能,通过分布式锁提供的强一致性。
体系架构
如图Figure1 所示,整个存储集群分为两类节点:Storage node 和 Manage Node,其比例一般是10:1, 该比例是可以设置。存储节点实现了对象存储。管理节点由四部分组成:PanFS实现了分布式的元数据管理。 SysMgr 通过实现了Paxos选举算法来提供了高可用的集群管理,管理所有的节点。同时提供了PanFS提供了NFS/CIFS 导出接口。
PanFS的体系结构也是通常的三部分, 数据服务器,元数据服务器和客户端三部分。 数据服务器对应的StorageNode,元数据服务器对应的是Manage node 里面PanFS,在Manage Node 里提供了SysMgr的管理节点。
我们重点关注的是,其如何提供高可用,
首先看一下对象存储(Object Storage),所谓对象,就是数据(data)和属性(attributes)的容器. 对象提供两层命名空间(partition Id / Object ID), 对象的接口提供了基本的对象操作:如创建/删除对象,基于byte的读写对象。
存储节点用FreeBSD操作系统,使用OSDFS这个自己写的特殊的本地文件系统。
数据是通过RAID1或者RAID5来实现容错。小文件用mirror,大文件用strip后的RAID5
文件的数据通过在多个对象上strip来实现冗余和高带宽。文件的元数据是通过对象的属性来保存。整个文件系统的元数据是保存在对象的属性中的。
SysMgr用来管理整个机器的配置,错误检测。
其高可用是通过Client-driven, per-file RAID 客户端实现基于文件的RAID。
其客户端实现了POSIX接口。
- PanasasFS File System 介绍
- Taobao File System 介绍
- file system
- file system
- File system
- 《自己动手写Docker》书摘之三---Union File System介绍
- APFS 苹果文件格式的小介绍 Apple File System
- File System Drivers & File System Filter Drivers
- System介绍
- The proc File System:
- The System.map File
- mount file system
- mount file system
- Google File System(中文翻译)
- embedded system (control file )
- The Google File System
- unix file system
- Apollo Local File System
- highstock scrollbar样式配置
- OBIEE菜鸟历程(一):RPD文件的发布
- 拓展动态编程的新领域
- project euler Problem 33
- JAVA LineNumberReader
- PanasasFS File System 介绍
- getchar与setbuf之经典错误
- 利用TitleWindow和VideoPlayer组件轻松实现视频弹出播放效果
- how to build dnsperf
- 今天开始进入狂暴状态,开启疯狂面具
- 【标记】 hdu3466 01背包变种
- [Debian]error while loading shared libraries
- android中三种方式实现水平滑动ViewPager,ViewFilpper,ViewFlow
- 我的五面经历--腾讯 百度 支付宝 阿里巴巴