FastDFS分布式文件系统

FastDFS介绍

FastDFS（Fast Distributed File System）是一个开源的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等。

FastDFS服务端有两个角色：跟踪器（Tracker）和存储节点（Storage）。

• 跟踪器（Tracker）主要做调度工作，在访问上起负载均衡的作用。
• 存储节点（Storage）存储文件，完成文件管理的所有功能：存储、同步和共存取接口，FastDFS同时对文件的meta data进行管理。

所谓文件的meta data就是文件的相关属性，以键值对（key value pair）的方式表示。文件meta data是文件属性列表，可以包含多个键值对。

FastDFS原理

如上图所示，用户请求发生时，将由系统的跟踪器Tracker来处理请求并分配请求给存储节点。

当Client机更多时，对Tracker的请求压力将增大，因此可以配置多个Tracker来进行Tracker的负载均衡。同时，多个Tracker的存在，也保证了单点故障问题的解决。

而存储节点群（Storage Cluster）则分为多个服务组：

1. 每组多台存储点，具备备份功能，防止数据损坏或首选存储点宕机，并且在高并发时提供更多的数据源，降低服务压力。
2. 多组存储组，组合成集群，保证数据的分散存储，便于扩容，分散单机节点访问压力。

FastDFS的优点

经过上面的介绍，我们就可以看出相对于tomcat的本地存储方式，FastDFS所具备的一些优点：

1. FastDFS不存在单点故障问题、支持容灾。
2. 集群式搭建提高安全性。
3. 保存图片过多时，支持扩容，分配合理 。
4. 具有备份功能、不怕磁盘损坏。 有效解决并发问题。

分布式文件系统的配置文件

这里提供较为全面的分布式系统配置文件，文件名:fdfs_client.conf。内容如下：

其中，tracker_server配置项为系统所在服务器的IP:端口，端口默认为22122。

# connect timeout in seconds# default value is 30sconnect_timeout=30# network timeout in seconds# default value is 30snetwork_timeout=60# the base path to store log filesbase_path=/home/fastdfs# tracker_server can ocur more than once, and tracker_server format is#  "host:port", host can be hostname or ip addresstracker_server=192.168.150.10:22122#standard log level as syslog, case insensitive, value list:### emerg for emergency### alert### crit for critical### error### warn for warning### notice### info### debuglog_level=info# if use connection pool# default value is false# since V4.05use_connection_pool = false# connections whose the idle time exceeds this time will be closed# unit: second# default value is 3600# since V4.05connection_pool_max_idle_time = 3600# if load FastDFS parameters from tracker server# since V4.05# default value is falseload_fdfs_parameters_from_tracker=false# if use storage ID instead of IP address# same as tracker.conf# valid only when load_fdfs_parameters_from_tracker is false# default value is false# since V4.05use_storage_id = false# specify storage ids filename, can use relative or absolute path# same as tracker.conf# valid only when load_fdfs_parameters_from_tracker is false# since V4.05storage_ids_filename = storage_ids.conf#HTTP settingshttp.tracker_server_port=80#use "#include" directive to include HTTP other settiongs##include http.conf

Java接口的实现

FastDFS提供了Java接口，maven项目坐标如下：

<dependency>    <groupId>fastdfs_client</groupId>    <artifactId>fastdfs_client</artifactId>    <version>1.20</version></dependency>

工具类：

下面是我所写的工具类，因为实在SSM框架环境下使用，因此使用到了spring框架的ClassPathResource类。并且用到了commons.io的工具类。代码如下：

import org.apache.commons.io.FilenameUtils;import org.csource.common.NameValuePair;import org.csource.fastdfs.ClientGlobal;import org.csource.fastdfs.StorageClient1;import org.csource.fastdfs.StorageServer;import org.csource.fastdfs.TrackerClient;import org.csource.fastdfs.TrackerServer;import org.springframework.core.io.ClassPathResource;/** * FastDFS分布式文件系统 * 的文件上传工具类 *  * @author leon_zhangxf * */public class FastDFSUtils {    /**     *      * @param fileBytes     文件字节     * @param fileName      文件名     * @param fileSize      文件大小     * @return  path        文件保存路径，相对于项目下     * @throws Exception     */    public static String fastDFSPicUpload(byte[] fileBytes, String fileName, long fileSize) throws Exception {        //1. 设置全局Tracker的IP        ClassPathResource resource = new ClassPathResource("fdfs_client.conf");        ClientGlobal.init(resource.getClassLoader().getResource("fdfs_client.conf").getPath());        //2. 连接Tracker        TrackerClient trackerClient = new TrackerClient();        //3. 获取Storage的地址        TrackerServer trackerServer = trackerClient.getConnection();        //4. 连接Storage的服务器        StorageServer storageServer = null;        StorageClient1 storageClient1 = new StorageClient1(trackerServer, storageServer);        //5. 上传图片        byte[] file_buff = fileBytes;        String file_ext_name = FilenameUtils.getExtension(fileName);        NameValuePair[] meta_list = new NameValuePair[3];        meta_list[0] = new NameValuePair("fileName", fileName);        meta_list[1] = new NameValuePair("fileExtName", file_ext_name);        meta_list[2] = new NameValuePair("fileSize", String.valueOf(fileSize));        String path = storageClient1.upload_file1(file_buff, file_ext_name, meta_list);        //返回文件保存路径，相对于web容器和项目        return path;    }}

相关资料请自行搜集，本笔记只提供入门。