FastDFS分布式文件系统
来源:互联网 发布:成都文殊院网络素食 编辑:程序博客网 时间:2024/06/16 20:10
摘要: FastDFS简介 •FastDFS是一个轻量级的开源分布式文件系统
•FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡
•FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储 •支持存储服务器在线扩容
•支持相同内容的文件只保存一份,节约磁盘空间 •FastDFS只能通过ClientAPI访问,不支持POSIX访问方式
•FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等)
FastDFS简介
•FastDFS是一个轻量级的开源分布式文件系统
•FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡
•FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储
•支持存储服务器在线扩容
•支持相同内容的文件只保存一份,节约磁盘空间
•FastDFS只能通过ClientAPI访问,不支持POSIX访问方式
•FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等)
系统架构-架构图
系统架构-上传文件流程图
• 1. client询问tracker上传到的storage,不需要附加参数;
• 2. tracker返回一台可用的storage;
• 3. client直接和storage通讯完成文件上传。
系统架构-下载文件流程图
• 1. client询问tracker下载文件的storage,参数为文件标识(组名和文件名);
• 2. tracker返回一台可用的storage;
• 3. client直接和storage通讯完成文件下载。
相关术语
• Tracker Server:跟踪服务器,主要做调度工作,在访问上起负载均衡的作用。记录storage server的状态,是连接Client和Storageserver的枢纽。
• Storage Server:存储服务器,文件和meta data都保存到存储服务器上
• group:组,也可称为卷。同组内服务器上的文件是完全相同的
• 文件标识:包括两部分:组名和文件名(包含路径)
• meta data:文件相关属性,键值对(Key Value Pair)方式,如:width=1024,heigth=768
同步机制
•同一组内的storageserver之间是对等的,文件上传、删除等操作可以在任意一台storage server上进行;
•文件同步只在同组内的storage server之间进行,采用push方式,即源服务器同步给目标服务器;
•源头数据才需要同步,备份数据不需要再次同步,否则就构成环路了;
•上述第二条规则有个例外,就是新增加一台storage server时,由已有的一台storageserver将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器。
通信协议
• 协议包由两部分组成:header和body
• header共10字节,格式如下:
– 8 bytes body length
– 1 byte command
– 1 byte status
• body数据包格式由取决于具体的命令,body可以为空
运行时目录结构-tracker server
• ${base_path}
|__data
| |__storage_groups.dat:存储分组信息
| |__storage_servers.dat:存储服务器列表
|__logs
|__trackerd.log:trackerserver日志文件
运行时目录结构-storage server
• ${base_path}
|__data
| |__.data_init_flag:当前storageserver初始化信息
| |__storage_stat.dat:当前storage server统计信息
| |__sync:存放数据同步相关文件
| | |__binlog.index:当前的binlog文件索引号
| | |__binlog.###:存放更新操作记录(日志)
| | |__${ip_addr}_${port}.mark:存放同步的完成情况
| |
| |__一级目录:256个存放数据文件的目录,如:00, 1F
| |__二级目录:256个存放数据文件的目录
|__logs
|__storaged.log:storageserver日志文件
安装和运行
•#step 1. download FastDFS source package and unpack it,
•# if you use HTTP to download file, please downloadlibevent 1.4.x and install it
•tar xzf FastDFS_v1.x.tar.gz
•#for example:
•tar xzf FastDFS_v1.20.tar.gz
•
•#step 2. enter the FastDFS dir
•cd FastDFS
•
•#step 3. if HTTP supported, modify make.sh, uncommentthe line:
•# WITH_HTTPD=1, then execute:
•./make.sh
•
•#step 4. make install
•./make.sh install
•
•#step 5. edit/modify the config file of tracker andstorage
•
•#step 6. run server programs
•#start the tracker server:
•/usr/local/bin/fdfs_trackerd
•
•#start the storage server:
•/usr/local/bin/fdfs_storaged
FastDFS和集中存储方式对比
![](http://upload-images.jianshu.io/upload_images/5712789-2a9914dd51089f85.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
• FastDFS中文:http://www.csource.org/
• FastDFS英文:http://code.google.com/p/fastdfs/
官网资料,分享给大家学习
愿意了解框架技术或者源码的朋友直接加求求(企鹅):2042849237
更多详细源码参考来源:http://minglisoft.cn/technology
- 分布式文件系统FastDFS
- 分布式文件系统 FastDFS
- 分布式文件系统FastDFS
- FastDFS分布式文件系统
- 分布式文件系统 FastDFS
- fastDFS分布式文件系统
- 分布式文件系统FastDFS
- FastDFS分布式文件系统简介
- 分布式文件系统FastDFS
- 分布式文件系统 FastDFS
- 分布式文件系统 FastDFS
- 分布式文件系统FastDFS详解
- 分布式文件系统—FastDFS
- 分布式文件系统FastDFS
- fastdfs分布式文件系统概述
- 分布式文件系统 FastDFS学习
- 分布式文件系统 FastDFS
- 轻量级分布式文件系统fastDFS
- class.forName和Classloader的区别
- 学习Spring boot AOP
- JAVA获取某段时间内的所有日期
- bzoj 1237(dp)
- VC++中,如何定义callback函数和它的触发事件?
- FastDFS分布式文件系统
- 面向对象程序设计上机练习六(类和对象)
- hashTable与布隆过滤器(Bloom Filter)初识
- Android中打开本地doc、pdf、ppt、text等文件功能的实现
- Linux下去掉^M的方法
- 这是我的第一篇csdn博客
- [Android][第一行代码][第 8 章 多媒体]
- 欢迎使用CSDN-markdown编辑器
- AIX下更换rootvg磁盘与DIAG工具定位故障磁盘