分布式架构学习之：FastDFS分布式文件系统的Linux安装与使用（单节点）

FastDFS是一个轻量级的开源分布式文件系统
FastDFS主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡
FastDFS实现了软件方式的RAID，可以使用廉价的IDE硬盘进行存储
支持存储服务器在线扩容
支持相同内容的文件只保存一份，节约磁盘空间
FastDFS只能通过Client API访问，不支持POSIX访问方式
FastDFS特别适合大中型网站使用，用来存储资源文件（如：图片、文档、音频、视频等等）

系统架构－上传文件流程图

 1. client询问tracker上传到的storage，不需要附加参数；
 2. tracker返回一台可用的storage；
 3. client直接和storage通讯完成文件上传。

系统架构－下载文件流程图

 1. client询问tracker下载文件的storage，参数为文件标识（组名和文件名）；
 2. tracker返回一台可用的storage；
 3. client直接和storage通讯完成文件下载。

Tracker Server：跟踪服务器，主要做调度工作，在访问上起负载均衡的作用。记录storage server的状态，是连接Client和Storage server的枢纽。
 Storage Server：存储服务器，文件和meta data都保存到存储服务器上
 group：组，也可称为卷。同组内服务器上的文件是完全相同的
 文件标识：包括两部分：组名和文件名（包含路径）
 meta data：文件相关属性，键值对（Key Value Pair）方式，如：width=1024,heigth=768

同一组内的storage server之间是对等的，文件上传、删除等操作可以在任意一台storage server上进行；
文件同步只在同组内的storage server之间进行，采用push方式，即源服务器同步给目标服务器；
源头数据才需要同步，备份数据不需要再次同步，否则就构成环路了；
上述第二条规则有个例外，就是新增加一台storage server时，由已有的一台storage server将已有的所有数据（包括源头数据和备份数据）同步给该新增服务器。

 协议包由两部分组成：header和body
 header共10字节，格式如下：
  8 bytes body length
  1 byte command
  1 byte status
 body数据包格式由取决于具体的命令，body可以为空

运行时目录结构－tracker server

运行时目录结构－storage server

FastDFS中文：http://www.csource.org/
FastDFS英文：http://code.google.com/p/fastdfs/

FastDFS 分布式文件系统的安装与使用（单节点）

跟踪服务器：192.168.4.121 (edu-dfs-tracker-01)

存储服务器：192.168.4.125 (edu-dfs-storage-01)

环境：CentOS 6.6

用户：root

数据目录：/fastdfs （注：数据目录按你的数据盘挂载路径而定）

安装包：

FastDFS v5.05

libfastcommon-master.zip（是从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库） 

fastdfs-nginx-module_v1.16.tar.gz

nginx-1.6.2.tar.gz fastdfs_client_java._v1.25.tar.gz

源码地址：https://github.com/happyfish100/

下载地址：http://sourceforge.net/projects/fastdfs/files/

官方论坛：http://bbs.chinaunix.net/forum-240-1.html

一、所有跟踪服务器和存储服务器均执行如下操作

1、编译和安装所需的依赖包:

# yum install make cmake gcc gcc-c++

2、安装 libfastcommon:

(1)上传或下载 libfastcommon-master.zip 到/usr/local/src 目录

(2)解压

# cd /usr/local/src/

# unzip libfastcommon-master.zip

# cd libfastcommon-master

(3) 编译、安装

# ./make.sh

# ./make.sh install 

libfastcommon 默认安装到了

/usr/lib64/libfastcommon.so

/usr/lib64/libfdfsclient.so

(4)因为 FastDFS 主程序设置的 lib 目录是/usr/local/lib，所以需要创建软链接.

# ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so

# ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so

# ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so

# ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

3、安装 FastDFS

(1)上传或下载 FastDFS 源码包（FastDFS_v5.05.tar.gz）到 /usr/local/src 目录 

(2)解压

# cd /usr/local/src/

# tar -zxvf FastDFS_v5.05.tar.gz

# cd FastDFS

(3)编译、安装（编译前要确保已经成功安装了 libfastcommon）

# ./make.sh

# ./make.sh install

采用默认安装的方式安装,安装后的相应文件与目录：

A、服务脚本在：

/etc/init.d/fdfs_storaged 

/etc/init.d/fdfs_tracker

B、配置文件在（样例配置文件）:

/etc/fdfs/client.conf.sample

/etc/fdfs/storage.conf.sample

/etc/fdfs/tracker.conf.sample

C、命令工具在/usr/bin/目录下的：

fdfs_appender_test 

fdfs_appender_test1 

fdfs_append_file 

fdfs_crc32 

fdfs_delete_file 

fdfs_download_file 

fdfs_file_info 

fdfs_monitor 

fdfs_storaged

fdfs_test 

fdfs_test1 

fdfs_trackerd 

fdfs_upload_appender 

fdfs_upload_file 

stop.sh

restart.sh

(4)因为 FastDFS 服务脚本设置的 bin 目录是/usr/local/bin，但实际命令安装在/usr/bin，可以进入/user/bin 目录使用以下命令查看 fdfs 的相关命令：

# cd /usr/bin/

# ls | grep fdfs

 

 

因此需要修改 FastDFS 服务脚本中相应的命令路径，也就是把/etc/init.d/fdfs_storaged和/etc/init.d/fdfs_tracker 两个脚本中的/usr/local/bin 修改成/usr/bin：

# vi fdfs_trackerd

使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin

# vi fdfs_storaged

使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin 

二、配置 FastDFS 跟踪器(192.168.4.121)

1、 复制 FastDFS 跟踪器样例配置文件,并重命名:

# cd /etc/fdfs/

# cp tracker.conf.sample tracker.conf

2、 编辑跟踪器配置文件：

 # vi /etc/fdfs/tracker.conf 

修改的内容如下：

disabled=false

port=22122

base_path=/fastdfs/tracker

（其它参数保留默认配置，具体配置解释请参考官方文档说明：

http://bbs.chinaunix.net/thread-1941456-1-1.html ）

3、 创建基础数据目录（参考基础目录 base_path 配置）:

# mkdir -p /fastdfs/tracker

4、 防火墙中打开跟踪器端口（默认为 22122）:

# vi /etc/sysconfig/iptables

添加如下端口行：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT

重启防火墙：

# service iptables restart

5、 启动 Tracker：

# /etc/init.d/fdfs_trackerd start

（初次成功启动，会在/fastdfs/tracker 目录下创建 data、logs 两个目录）查看 FastDFS Tracker 是否已成功启动：

# ps -ef | grep fdfs

6、 关闭 Tracker：

# /etc/init.d/fdfs_trackerd stop

7、 设置 FastDFS 跟踪器开机启动：

# vi /etc/rc.d/rc.local

添加以下内容：

## FastDFS Tracker

/etc/init.d/fdfs_trackerd start

三、配置 FastDFS 存储(192.168.4.125)

1、 复制 FastDFS 存储器样例配置文件,并重命名:

# cd /etc/fdfs/

# cp storage.conf.sample storage.conf

2、 编辑存储器样例配置文件：

# vi /etc/fdfs/storage.conf

修改的内容如下: 

disabled=false 

port=23000 

base_path=/fastdfs/storage

store_path0=/fastdfs/storage 

tracker_server=192.168.4.121:22122 

http.server_port=8888

（其它参数保留默认配置，具体配置解释请参考官方文档说明：

http://bbs.chinaunix.net/thread-1941456-1-1.html ）

3、 创建基础数据目录（参考基础目录 base_path 配置）:

# mkdir -p /fastdfs/storage 

4、 防火墙中打开存储器端口（默认为 23000）:

# vi /etc/sysconfig/iptables

添加如下端口行：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT

重启防火墙：

# service iptables restart

5、 启动 Storage：

# /etc/init.d/fdfs_storaged start

（初次成功启动，会在/fastdfs/storage 目录下创建 data、logs 两个目录）查看 FastDFS Storage 是否已成功启动

# ps -ef | grep fdfs

6、 关闭 Storage：

# /etc/init.d/fdfs_storaged stop

7、 设置 FastDFS 存储器开机启动：

# vi /etc/rc.d/rc.local

添加：

## FastDFS Storage

/etc/init.d/fdfs_storaged start

四、文件上传测试(192.168.4.121)

1、修改 Tracker 服务器中的客户端配置文件：

# cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf

# vi /etc/fdfs/client.conf

base_path=/fastdfs/tracker

tracker_server=192.168.4.121:22122 

2、执行如下上传文件命令

 

千万不要使用kill -9来杀进程，可能导致binlog数据丢失

客户端Java代码测试

fdfs_client.conf

[java] view plain copy

1. connect_timeout = 10  
2. network_timeout = 30  
3. charset = UTF-8  
4. http.tracker_http_port = 8080  
5. http.anti_steal_token = no  
6. http.secret_key = FastDFS1234567890  
7.   
8. tracker_server = 192.168.4.121:22122  

封装的客户端代码

[java] view plain copy

1. import java.io.ByteArrayInputStream;  
2. import java.io.File;  
3. import java.io.FileInputStream;  
4. import java.io.IOException;  
5. import java.io.InputStream;  
6.   
7. import org.apache.commons.lang3.StringUtils;  
8. import org.apache.log4j.Logger;  
9. import org.csource.common.NameValuePair;  
10. import org.csource.fastdfs.ClientGlobal;  
11. import org.csource.fastdfs.StorageClient1;  
12. import org.csource.fastdfs.StorageServer;  
13. import org.csource.fastdfs.TrackerClient;  
14. import org.csource.fastdfs.TrackerServer;  
15.   
16. /** 
17.  *  
18.  * @描述: FastDFS分布式文件系统操作客户端 . 
19.  * @作者: WuShuicheng . 
20.  * @创建时间: 2015-3-29,下午8:13:49 . 
21.  * @版本号: V1.0 . 
22.  */  
23. public class FastDFSClient {  
24.   
25.     //private static final String CONF_FILENAME = Thread.currentThread().getContextClassLoader().getResource("").getPath() + "fdfs_client.conf";  
26.     private static final String CONF_FILENAME = "src/main/resources/fdfs/fdfs_client.conf";  
27.     private static StorageClient1 storageClient1 = null;  
28.   
29.     private static Logger logger = Logger.getLogger(FastDFSClient.class);  
30.   
31.     /** 
32.      * 只加载一次. 
33.      */  
34.     static {  
35.         try {  
36.             logger.info("=== CONF_FILENAME:" + CONF_FILENAME);  
37.             ClientGlobal.init(CONF_FILENAME);  
38.             TrackerClient trackerClient = new TrackerClient(ClientGlobal.g_tracker_group);  
39.             TrackerServer trackerServer = trackerClient.getConnection();  
40.             if (trackerServer == null) {  
41.                 logger.error("getConnection return null");  
42.             }  
43.             StorageServer storageServer = trackerClient.getStoreStorage(trackerServer);  
44.             if (storageServer == null) {  
45.                 logger.error("getStoreStorage return null");  
46.             }  
47.             storageClient1 = new StorageClient1(trackerServer, storageServer);  
48.         } catch (Exception e) {  
49.             logger.error(e);  
50.         }  
51.     }  
52.   
53.     /** 
54.      *  
55.      * @param file 
56.      *            文件 
57.      * @param fileName 
58.      *            文件名 
59.      * @return 返回Null则为失败 
60.      */  
61.     public static String uploadFile(File file, String fileName) {  
62.         FileInputStream fis = null;  
63.         try {  
64.             NameValuePair[] meta_list = null; // new NameValuePair[0];  
65.             fis = new FileInputStream(file);  
66.             byte[] file_buff = null;  
67.             if (fis != null) {  
68.                 int len = fis.available();  
69.                 file_buff = new byte[len];  
70.                 fis.read(file_buff);  
71.             }  
72.   
73.             String fileid = storageClient1.upload_file1(file_buff, getFileExt(fileName), meta_list);  
74.             return fileid;  
75.         } catch (Exception ex) {  
76.             logger.error(ex);  
77.             return null;  
78.         }finally{  
79.             if (fis != null){  
80.                 try {  
81.                     fis.close();  
82.                 } catch (IOException e) {  
83.                     logger.error(e);  
84.                 }  
85.             }  
86.         }  
87.     }  
88.   
89.     /** 
90.      * 根据组名和远程文件名来删除一个文件 
91.      *  
92.      * @param groupName 
93.      *            例如 "group1" 如果不指定该值，默认为group1 
94.      * @param fileName 
95.      *            例如"M00/00/00/wKgxgk5HbLvfP86RAAAAChd9X1Y736.jpg" 
96.      * @return 0为成功，非0为失败，具体为错误代码 
97.      */  
98.     public static int deleteFile(String groupName, String fileName) {  
99.         try {  
100.             int result = storageClient1.delete_file(groupName == null ? "group1" : groupName, fileName);  
101.             return result;  
102.         } catch (Exception ex) {  
103.             logger.error(ex);  
104.             return 0;  
105.         }  
106.     }  
107.   
108.     /** 
109.      * 根据fileId来删除一个文件（我们现在用的就是这样的方式，上传文件时直接将fileId保存在了数据库中） 
110.      *  
111.      * @param fileId 
112.      *            file_id源码中的解释file_id the file id(including group name and filename);例如 group1/M00/00/00/ooYBAFM6MpmAHM91AAAEgdpiRC0012.xml 
113.      * @return 0为成功，非0为失败，具体为错误代码 
114.      */  
115.     public static int deleteFile(String fileId) {  
116.         try {  
117.             int result = storageClient1.delete_file1(fileId);  
118.             return result;  
119.         } catch (Exception ex) {  
120.             logger.error(ex);  
121.             return 0;  
122.         }  
123.     }  
124.   
125.     /** 
126.      * 修改一个已经存在的文件 
127.      *  
128.      * @param oldFileId 
129.      *            原来旧文件的fileId, file_id源码中的解释file_id the file id(including group name and filename);例如 group1/M00/00/00/ooYBAFM6MpmAHM91AAAEgdpiRC0012.xml 
130.      * @param file 
131.      *            新文件 
132.      * @param filePath 
133.      *            新文件路径 
134.      * @return 返回空则为失败 
135.      */  
136.     public static String modifyFile(String oldFileId, File file, String filePath) {  
137.         String fileid = null;  
138.         try {  
139.             // 先上传  
140.             fileid = uploadFile(file, filePath);  
141.             if (fileid == null) {  
142.                 return null;  
143.             }  
144.             // 再删除  
145.             int delResult = deleteFile(oldFileId);  
146.             if (delResult != 0) {  
147.                 return null;  
148.             }  
149.         } catch (Exception ex) {  
150.             logger.error(ex);  
151.             return null;  
152.         }  
153.         return fileid;  
154.     }  
155.   
156.     /** 
157.      * 文件下载 
158.      *  
159.      * @param fileId 
160.      * @return 返回一个流 
161.      */  
162.     public static InputStream downloadFile(String fileId) {  
163.         try {  
164.             byte[] bytes = storageClient1.download_file1(fileId);  
165.             InputStream inputStream = new ByteArrayInputStream(bytes);  
166.             return inputStream;  
167.         } catch (Exception ex) {  
168.             logger.error(ex);  
169.             return null;  
170.         }  
171.     }  
172.   
173.     /** 
174.      * 获取文件后缀名（不带点）. 
175.      *  
176.      * @return 如："jpg" or "". 
177.      */  
178.     private static String getFileExt(String fileName) {  
179.         if (StringUtils.isBlank(fileName) || !fileName.contains(".")) {  
180.             return "";  
181.         } else {  
182.             return fileName.substring(fileName.lastIndexOf(".") + 1); // 不带最后的点  
183.         }  
184.     }  
185. }  

测试代码

[java] view plain copy

1. import java.io.File;  
2. import java.io.InputStream;  
3.   
4. import org.apache.commons.io.FileUtils;  
5.   
6. import wusc.edu.demo.fdfs.FastDFSClient;  
7. <span class="keyword" style="margin: 0px; padding: 0px; border: none; color: rgb(0, 102, 153); font-weight: bold; font-family: Consolas, "Courier New", Courier, mono, serif;">import</span><span style="margin: 0px; padding: 0px; border: none; font-family: Consolas, "Courier New", Courier, mono, serif;"> org.junit.Test; </span>  
8.   
9. /** 
10.  *  
11.  * @描述: FastDFS测试 . 
12.  * @作者: WuShuicheng . 
13.  * @创建时间: 2015-3-29,下午8:11:36 . 
14.  * @版本号: V1.0 . 
15.  */  
16. public class FastDFSTest {  
17.       
18.     /** 
19.      * 上传测试. 
20.      * @throws Exception 
21.      */<strong></strong><pre code_snippet_id="2388671" snippet_file_name="blog_20170511_3_9137657" name="code" class="java"><span style="white-space:pre">  </span>@Test</pre> public void upload() throws Exception {String filePath = "E:/WorkSpaceSpr10.6/edu-demo-fdfs/TestFile/DubboVideo.jpg";File file = new File(filePath);String fileId = FastDFSClient.uploadFile(file, filePath);System.out.println("Upload  
22.  local file " + filePath + " ok, fileid=" + fileId);// fileId: group1/M00/00/00/wKgEfVUYPieAd6a0AAP3btxj__E335.jpg// url: http://192.168.4.125:8888/group1/M00/00/00/wKgEfVUYPieAd6a0AAP3btxj__E335.jpg}/** * 下载测试. * @throws Exception */<strong></strong><pre code_snippet_id="2388671" snippet_file_name="blog_20170511_4_5932074" name="code" class="java">        @Test</pre>  
23.  public static void download() throws Exception {String fileId = "group1/M00/00/00/wKgEfVUYPieAd6a0AAP3btxj__E335.jpg";InputStream inputStream = FastDFSClient.downloadFile(fileId);File destFile = new File("E:/WorkSpaceSpr10.6/edu-demo-fdfs/TestFile/DownloadTest.jpg");FileUtils.copyInputStreamToFile(inputStream,  
24.  destFile);}/** * 删除测试 * @throws Exception */<strong></strong><pre code_snippet_id="2388671" snippet_file_name="blog_20170511_6_8342052" name="code" class="java"><span style="white-space:pre">    </span>@Test</pre> public static void delete() throws Exception {String fileId = "group1/M00/00/00/wKgEfVUYPieAd6a0AAP3btxj__E335.jpg";int result = FastDFSClient.deleteFile(fileId);System.out.println(result  
25.  == 0 ? "删除成功" : "删除失败:" + result);}/** * @param args * @throws Exception */<strong></strong><pre code_snippet_id="2388671" snippet_file_name="blog_20170511_6_8342052" name="code" class="java"><span style="white-space:pre"> </span>@Test</pre> public static void main(String[] args) throws Exception {//upload();//download();delete();}}  
26. <pre></pre>  
27. <span style="font-family:Arial,Helvetica,sans-serif"><span style="white-space:normal"></span></span>  
28. <pre></pre>