Centos6 部署分布式文件系统FastDFS

FASTDFS相关简介

FastDFS是一个开源的轻量级的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。
FastDFS架构：
FastDFS服务端有三个角色：跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）。
1. tracker server：跟踪服务器，主要做调度工作，起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信 息，是客户端和数据服务器交互的枢纽。相比GFS中的master更为精简，不记录文件索引信息，占用的内存量很少。
2.storage server：存储服务器（又称：存储节点或数据服务器），文件和文件属性（meta data）都保存到存储服务器上。 Storage server直接利用OS的文件系统调用管理文件。
3.client：客户端，作为业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。

文件上传和下载的交互过程

文件上传流程：
客户端（client）询问Tracker server上传到的Storage server
1.client->Tracker server(返回一台可用的Storage server,返回的数据为该Storage server的IP地址和端口)
2.client直接与1返回的Storage server建立连接->文件上传成功后->Storage server会返回新生成的文件ID->结束

文件下载流程的步骤如下：
1. client询问Tracker server可以下载指定文件的Storage server，参数为文件ID（包含组名和文件名）；
2. Tracker server返回一台可用的Storage server；
3. client直接和该Storage server建立连接，完成文件下载。

本文详细介绍了FastDFS在centos系统上的详细安装过程，在从机上使用了nginx实现了http的访问请求。具体操作如下
FastDFS相关工具下载 https://pan.baidu.com/s/1gfiVMtt

1.将下载的工具上传到服务器上

所需安装包
上传机制：

2.FastDFS集群规划

描述 服务器 HOST 分组 跟踪服务器1 192.168.1.208 mgr208 存储服务器1 192.168.1.211 mgr211 group1 存储服务器2 192.168.1.212 mgr212 group1

3.关闭防火墙和sellinux

 service iptables stop  chkconfig iptables off

vi /etc/selinux/config 修改 selinux=disable，重启生效

3.FastDFS安装（所有tracker服务器和storage服务器均有如下操作）

3.1编译和安装所需的依赖包

  yum install make cmake gcc gcc-c++

3.2 安装libfastcommon
①. 安装unzip包，将libfastcommon解压到/usr/local下

 yum install -y unzip zip unzip libfastcommon-1.0.7.zip -d /usr/local

②.编译并运行

 cd /usr/local/libfastcommon-1.0.7 ./make.sh ./make.sh install

由于FastDFS主程序设置的lib目录是/usr/local/lib，所以需要创建软链接.

   ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so   ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so   ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so   ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

3.3 安装 FastDFS

①.解压FastDFS至 /usr/local

tar -zxvf FastDFS_v5.05.tar.gz -C /usr/local

②.编译并安装

    cd /usr/local/FastDFS   ./make.sh   ./make.sh install

采用默认安装的方式安装,安装后的相应文件与目录：

   A、服务脚本在：          /etc/init.d/fdfs_storaged          /etc/init.d/fdfs_tracker   B、配置文件在（样例配置文件）:          /etc/fdfs/client.conf.sample          /etc/fdfs/storage.conf.sample          /etc/fdfs/tracker.conf.sample   C、命令工具在/usr/bin/目录下的：          fdfs_appender_test          fdfs_appender_test1          fdfs_append_file          fdfs_crc32          fdfs_delete_file          fdfs_download_file          fdfs_file_info          fdfs_monitor          fdfs_storaged          fdfs_test          fdfs_test1          fdfs_trackerd          fdfs_upload_appender          fdfs_upload_file          stop.sh          restart.sh

③. FastDFS 服务脚本设置的 bin 目录是/usr/local/bin，我们在实际命令安装时是在/usr/bin目录下，可以进入/user/bin 目录使用以下命令查看 fdfs 的相关命令：

我们需要修改 FastDFS 服务脚本中相应的命令路径
把/etc/init.d/fdfs_storaged和/etc/init.d/fdfs_tracker 两个脚本中的/usr/local/bin 修改成/usr/bin：

# vi /etc/init.d/fdfs_trackerd

使用查找替换命令进批量修改：:%s+/usr/local/bin+/usr/bin

# vi /etc/init.d/fdfs_storaged

使用查找替换命令进批量修改：:%s+/usr/local/bin+/usr/bin

4.配置FastDFS跟踪器Tracker（192.168.1.208）

4.1 复制 FastDFS 跟踪器样例配置文件,并重命名

# cd /etc/fdfs/# cp tracker.conf.sample tracker.conf   

4.2 编辑跟踪器配置文件

      vi /etc/fdfs/tracker.conf

修改的内容如下：

   disabled=false #启用配置文件(默认)   port=22122  #tracker 的端口号，默认端口22122   base_path=/fastdfs/tracker  #tracker 的数据文件和日志目录   store_lookup=0（采取轮巡方式选择要上传的组进行存储，默认2 选择最大空闲空间的组）

4.3 创建基础数据目录

mkdir -p /fastdfs/tracker

4.4 防火墙中打开跟踪器端口（默认为 22122，因为我这边内网测试服务器防火墙都已经关闭，可以不配置，线上环境为安全考虑一般都会打开）

       vi /etc/sysconfig/iptables       添加如下端口行：       -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT       重启防火墙：       # service iptables restart

4.5 启动 Tracker

 /etc/init.d/fdfs_trackerd start （第一次成功启动，会在/fastdfs/tracker 目录下创建 data、logs 两个目录）可以通过以下两个方法查看 tracker 是否启动成功:

查看 22122 端口监听情况 # netstat -unltp|grep fdfs通过以下命令查看 tracker 的启动日志，看是否有错误 # tail -100f /fastdfs/tracker/logs/trackerd.log

关闭 Tracker命令为

 /etc/init.d/fdfs_trackerd stop

5.配置FastDFS存储服务器storage（192.168.1.211 ,192.168.1.212）

5.1 复制 FastDFS 存储器样例配置文件,并重命名

      cd /etc/fdfs/      cp storage.conf.sample storage.conf

5.2 编辑存储器样例配置文件

vi /etc/fdfs/storage.conf

修改的内容如下:

       disabled=false #启用配置文件       group_name=group1  #组名（第一组为 group1，第二组为 group2）       port=23000  #storage 的端口号,同一个组的 storage 端口号必须相同       base_path=/fastdfs/storage   #设置 storage 的日志目录       store_path0=/fastdfs/storage  #存储路径       store_path_count=1   #存储路径个数，需要和 store_path 个数匹配       tracker_server=192.168.1.170:22122   #tracker 服务器的 IP 地址和端口       tracker_server=192.168.1.180:22122   #多个 tracker 直接添加多条配置       http.server_port=8888   #设置 http 端口号

5.3 创建基础数据目录

mkdir -p /fastdfs/storage

5.4 防火墙中打开存储端口（默认为 23000，因为我这边内网测试服务器防火墙都已经关闭，可以不配置，线上环境为安全考虑一般都会打开）

       vi /etc/sysconfig/iptables       添加如下端口行：       -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT       重启防火墙：       # service iptables restart

5.5 启动 Storage

/etc/init.d/fdfs_storaged start查看 23000 端口监听情况：netstat -unltp|grep fdfs所有 Storage 节点都启动之后，可以在任一 Storage 节点上使用如下命令查看集群信息： /usr/bin/fdfs_monitor /etc/fdfs/storage.conf

关闭Storage

 /etc/init.d/fdfs_storaged stop

6.文件上传测试（192.168.1.208）

6.1 修改 Tracker 服务器中的客户端配置文件

 cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf  vi /etc/fdfs/client.conf

 base_path=/fastdfs/tracker tracker_server=192.168.1.208:22122

6.2 图片上传测试

FastDFS上传命令如下：

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /home/架构分层.png

上图路径可以看过上传在group1 （211,212两台存储服务器中），我们去两台服务器中查看，可以看到两台服务器中都有上传成功。

 ll /fastdfs/storage/data/00/00/

7.在各个存储节点上安装Nginx(在storage上安装的nginx主要为了提供http的访问服务，同时解决group中storage服务器的同步延迟问题)

7.1解压nginx插件fastdfs-nginx-module,以及依赖包 pcre、zlib

tar -zxvf fastdfs-nginx-module_v1.16.tar.gz -C /usr/local/tar -zvxf  pcre-8.34.tar.gz -C /usr/local/tar -zvxf zlib-1.2.8.tar.gz -C /usr/local/

7.2 解压安装nginx

 tar -zvxf nginx-1.7.8.tar.gz -C /usr/local/

7.3 修改 fastdfs-nginx-module 的 config 配置文件

 vi /usr/local/fastdfs-nginx-module/src/config

改成这行

CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

7.4 安装编译 Nginx 所需的依赖包

yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel

7.5 编译安装 Nginx（添加 fastdfs-nginx-module 模块）

cd /usr/local/nginx-1.7.8/./configure --prefix=/usr/local/nginx --add-module=/usr/local/fastdfs-nginx-module/src/  --with-pcre=/usr/local/pcre-8.34/ --with-zlib=/usr/local/zlib-1.2.8/makemake install

安装成功的话，结果和上图一样，无error信息

7.6 将FastDFS的nginx插件模块的配置文件copy到FastDFS配置文件目录

cp /usr/local/fastdfs-nginx-module/src/mod_fastdfs.conf  /etc/fdfs/vi  /etc/fdfs/mod_fastdfs.conf

Storage 的 mod_fastdfs.conf 配置

#include http.confconnect_timeout=10base_path=/tmptracker_server=192.168.1.208:22122storage_server_port=23000group_name=group1url_have_group_name = truestore_path0=/fastdfs/storagegroup_count = 1  #根据存储接口group数量设置  本例只有一组[group1]group_name=group1storage_server_port=23000store_path_count=1store_path0=/fastdfs/storage 

7.7将fastdfs安装包中的http.conf、mime.types 两个文件拷贝到/etc/fdfs中

cp /usr/local/FastDFS/conf/http.conf  /etc/fdfs/cp /usr/local/FastDFS/conf/mime.types  /etc/fdfs/

7.8 在/fastdfs/storage 文件存储目录下创建软连接,将其链接到实际存放数据的目录

ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

7.9 配置 Nginx

添加

 server {              listen 8888;              server_name localhost;              location /group1/M00 {            #alias /fastdfs/storage/data;            ngx_fastdfs_module;        }

修改配置后要重启nginx,并添加8888端口到防火墙

-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT

重启防火墙:

service iptables restart

测试访问之前上传的图片：
http://192.168.1.211:8888/group1/M00/00/00/wKgB01mVDFCAYQhLAABx7LgjO-Q374.png

注意事项：
1、8888 端口值是要与/etc/fdfs/storage.conf 中的 http.server_port=8888 相对应，

因为 http.server_port 默认为 8888,如果想改成 80，则要对应修改过来。

2、Storage 对应有多个 group 的情况下，访问路径带 group 名，如/group1/M00/00/00/xxx，

对应的 Nginx 配置为：

location ~/group([0-9])/M00 {ngx_fastdfs_module;}

3、如果下载时如发现老报 404，将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。

8 跟踪器（Tracker）上安装Nginx(在 tracker 上安装的 nginx 主要为了提供 http 访问的反向代理、负载均衡以及缓存服务)

8.1 安装编译 Nginx 所需的依赖包

yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel

8.2 编译安装 Nginx（添加 ngx_cache_purge 模块）
下载ngx_cache_purge-2.3.tar.gz并解压

tar -zxvf ngx_cache_purge-2.3.tar.gz -C /usr/local/tar -zvxf nginx-1.7.8.tar.gz -C /usr/local/cd /usr/local/nginx-1.7.8/./configure --prefix=/usr/local/nginx --add-module=/usr/local/ngx_cache_purge-2.3/ make && make install

8.3 配置 Nginx，设置负载均衡以及缓存

vi /usr/local/nginx/conf/nginx.conf

修改nginx.conf (仅供参考，具体参数优化自行修改)

#user  nobody;worker_processes  1;events {    worker_connections  1024;}http {    include       mime.types;    default_type  application/octet-stream;    sendfile        on;    proxy_cache_path  /fastdfs/cache/nginx/proxy_cache  levels=1:2 keys_zone=cache1:200m inactive=1d max_size=10g;    upstream fdfs_group1 {                     server 192.168.1.211:8888 weight=1 max_fails=2 fail_timeout=30s;                     server 192.168.1.212:8888 weight=1 max_fails=2 fail_timeout=30s;              }       server{                     listen 8000;                     server_name localhost;                     #设置 group 的负载均衡参数                     location /group1/M00 {                            proxy_pass http://fdfs_group1;                     }                     #group2                     #group3                     #设置清除缓存的访问权限                     location ~/purge(/.*) {                            allow 127.0.0.1;                            allow 192.168.1.13;                            allow 192.168.1.0/24;                            deny all;                           # proxy_cache_purge http-cache $1$is_args$args;                            proxy_cache_purge    cache1 $host$1$is_args$args;                     }              }}

创建缓存目录

  mkdir -p /fastdfs/cache/nginx/proxy_cache

然后启动nginx并添加对应端口8000到防火墙

vi /etc/sysconfig/iptables-A INPUT -m state --state NEW -m tcp -p tcp --dport 8000 -j ACCEPT  重启防火墙service iptables restart

访问http://192.168.1.208:8000/group1/M00/00/00/wKgB01mVDFCAYQhLAABx7LgjO-Q374.png
能成功打开，说明配置成功。