FastDFS集群服务器搭建

1.什么是FastDFS？

    FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务，如相册网站、视频网站等等。在UC基于FastDFS开发向用户提供了：网盘，社区，广告和应用下载等业务的存储服务。

2.FastDFS架构：

    FastDFS服务端有三个角色：跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）。

1. tracker server：跟踪服务器，主要做调度工作，起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息，是客户端和数据服务器交互的枢纽。相比GFS中的master更为精简，不记录文件索引信息，占用的内存量很少。

2. storage server：存储服务器（又称：存储节点或数据服务器），文件和文件属性（meta data）都保存到存储服务器上。Storage server直接利用OS的文件系统调用管理文件。

3. client：客户端，作为业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。

3.测试环境

整个环境包含三台服务器，一台服务器运行tracker,storage和nginx功能，一台运行storage+tracker+nginx功能，最后一台运行storage+nginx功能。从功能上区分，为两个tracker、三个sroage，基本上够成了一个集群要求的最小规模。

1

2

3

192.168.106.131:    nginx  fdfs_storage fdfs_tracker 

192.168.106.132:    nginx(mod_fdfs)  fdfs_storage  fdfs_tracker

192.168.106.133:    nginx(mod_fdfs)    fdfs_storage

、

4.配置过程

系统环境：centos 6.x 64位  最小化安装系统

4.1.下载所需要文件

1

2

3

4

libfastcommon-master.zip

fastdfs-master.zip 

fastdfs-nginx-module-master.zip

nginx-1.6.3.tar.gz

4.2.系统准备

所有软件安装均基于最小安装的Centos6.x  64位系统，在三台服务器上前先yum安装以下依赖软件：

yum install gcc gcc-c++ kernel-devel pcre pcre-devel make libevent perl perl-devel gzip gzip-devel

4.3 安装

4.3.1在192.168.106.131-192.168.106.133上执行以下操作：

1

2

3

unzip fastdfs-master.zip

unzip fastdfs-nginx-module-master.zip

unzip   libfastcommon-master.zip

4.3.2 安装libfastcommon（fdfs依赖,需要先安装）

1

2

3

cd libfastcommon-master

make.sh

make.sh install

安装fdfs

cd fastdfs-master

./make.sh

./make.sh install

4.3.3.在192.168.106.131上执行以下操作：

1

2

3

4

5

tar xzf nginx-1.6.3.tar.gz

cd nginx-1.6.3

./configure --prefix=/opt/yingmoo/nginx

make

make install

在192.168.106.132、192.168.106.132上执行以下操作：

1

2

3

4

5

6

7

8

tar xzf nginx-1.6.3.tar.gz

mv fastdfs-nginx-module-master  nginx-1.6.3/

./configure --prefix=/opt/yingmoo/nginx  --add-module=./fastdfs-nginx-module-master/src/

make

make install

cd  fastdfs-nginx-module-master/src/

cp mime.types /etc/fdfs/

cp http.conf  /etc/fdfs/

修改nginx.conf文件 

1

2

3

4

5

6

 location /M00 {

            root /home/yuqing/fastdfs/data;

            ngx_fastdfs_module;

     }

/etc/init.d/nginx conifgtest

/etc/init.d/nginx start

涉及到的配置文件   http.conf  mime.types  mod_fastdfs.conf  storage.conf  tracker.conf

192.168.106.131配置文件需要修改的内容如下：

tracker.cnof

1

bind_addr=192.168.106.131

storage.conf

1

2

3

4

5

bind_addr= 192.168.106.131

# tracker_server can ocur more than once, and tracker_server format is

#  "host:port", host can be hostname or ip address

tracker_server=192.168.106.131:22122

tracker_server=192.168.106.132:22122

192.168.106.132

tracker.conf

1

2

3

# bind an address of this host

# empty for bind all addresses of this host

bind_addr=192.168.106.132

storage.conf

1

2

3

# bind an address of this host

# empty for bind all addresses of this host

bind_addr=192.168.106.132

1

2

3

4

# tracker_server can ocur more than once, and tracker_server format is

#  "host:port", host can be hostname or ip address

tracker_server=192.168.106.131:22122

tracker_server=192.168.106.132:22122

mod_fastdfs.conf

1

2

3

4

5

# FastDFS tracker_server can ocur more than once, and tracker_server format is

#  "host:port", host can be hostname or ip address

# valid only when load_fdfs_parameters_from_tracker is true

tracker_server=192.168.106:131:22122

tracker_server=192.168.106:132:22122

192.168.106.133配置与132相同

4.3.4 在三台服务器上创建存储目录

1

2

mkdir  /home/yuqing/fastdfs

ln -s /home/yuqing/fastdfs/data  /home/yuqing/fastdfs/data/M00  (需要在storage启动后执行）

4.4启动程序

1

2

3

/etc/init.d/fdfs_storage start

/etc/init.d/fdfs_tracker start

/etc/init.d/nginx start

启动后查看端口，出现22122 23000端口即安装成功。

可使用fdfs_test /etc/fdfs/client.conf upload   name.jpg   进行测试！