FastDFS文件名策略及对小文件的优化
来源:互联网 发布:mac修复win7引导工具 编辑:程序博客网 时间:2024/05/29 14:44
0.简介
FastDFS是一个应用级分布式文件存储服务,其采用中心型结构(类似GFS、HDFS、TFS等),主要用于大中型网站存储资源文件。FastDFS具有轻量级,支持高并发放访问,负载均衡,可扩展等优点。而FastDFS最大的亮点就是对小文件的存储性能较好,这主要来自于其文件名策略。
1.小文件存储性能优化
小文件的性能瓶颈主要来自于对元数据服务器(如FastDFS中的TrackerServer或TFS中的NameServer)的访问,因为当文件本身大小很小时,元数据存储所占空间与文件内容存储所占空间的比例就变得较大,访问元数据所消耗资源与访问文件内容所消耗资源的比例也变得较大。因此,通常对小文件存储的优化方法主要有两大类思路:一是减少访问元数据的次数,比如Cache预取;二是减少元数据所占的存储空间,比如FastDFS使用的文件名策略。
2. FastDFS文件名策略
FastDFS中的文件名是在向StorageServer存储文件时由系统指定的,文件名中包含了VolumeID和FileID。也就是说,当客户要读取某个文件时,通过在客户端对文件名进行解析,就可以知道该文件存储在哪个Volume上和它在StorageServer中的FileID。但是此时用户还不能读取文件,因为他不知道Volume内各个StorageServer的ip地址,也不知道应该从Volume内的哪个StorageServer中读取。所以用户需手持欲访问的文件的VolumeID向TrackerServer询问,TrackerServe会均衡当前各StorageServer的IO负载状况,返回一个最佳的StorageServer的ip地址。最后用户与该StorageServer连接,出示欲访问文件的FileID,StorageServer上会维持一个FileID对应偏移量的表,从而得到欲访问文件的偏移量。
可见,FastDFS的文件名策略将文件存储位置信息隐含在文件名中,从而减少了元数据量,达到了优化小文件存储性能的作用。
http://blog.csdn.net/ivy_zhang_1101081987/article/details/6219797
- FastDFS文件名策略及对小文件的优化
- FastDFS文件名策略及对小文件的优化
- FastDFS文件名策略及对小文件的优化
- FastDFS文件名策略及对小文件的优化
- FastDFS 小文件优化策略
- mapReduce大量小文件的优化策略
- hadoop大量小文件的优化策略
- fastdfs存储小文件的可行性分析
- mapreduce关于大量小文件的优化策略
- 【FastDFS分布式文件系统之二】:FastDFS小文件上传性能测试及Python客户端上传操作
- 对fastdfs 文件清单进行检查,打印无效的文件
- 对文件名及路径的操作
- 小数据包网络发送的优化策略
- 【java】各种对文件,读写的方法及小例子
- 【java】各种对文件,读写的方法及小例子
- sql优化小策略
- 文件及文件名的编码转换及文件编码查看
- 优化策略及生命周期
- Ubuntu 11.10系列之三—minicom的安装与设置
- ibatis-Spring 整合
- FastDFS基本结构
- DSP/BIOS 线程控制 MBX SEM QUE模块API
- Struts2拦截器学习
- FastDFS文件名策略及对小文件的优化
- 五. RMAN建立备份
- 2011届移动开发者大会
- DSP/BIOS HWI设置为Dispatch的作用
- HashTable set HashMap
- 视频十四学习心得,跳转语句与自定义数据类型
- Windows+Emacs+Etags
- 如何让PHP以daemon(服务)进程运行(转)
- Curses函数说明(SCO)