上传下载分布式部署FASTDFS安装与配置

来源：互联网发布：sql数据库教学视频编辑：程序博客网时间：2024/06/05 11:31

FASTDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用

Linux虚拟机安装

下载VMWARE:

vmware可以从官网上下载，也可以下下载破解版的，本测试采用的是vmware11

Linux系统采用的是Centos6.5

在创建虚拟机的时候可能会遇到Vt-x处于禁用状态，无法创建，这时需进入bios启动，将IntelVirtual Technology开启即可。

配置NAT静态网

打开Vmware的编辑-虚拟网路编辑器

选择NAT模式

窗口下方有子网ip192.168.128.0子网掩码255.255.255.0

查看NAT设置的网关192.168.128.2

修改网络配置文件ifcfg-eth0
进入文件目录：
命令:cd/etc/sysconfig/sysconfig-scripts

编辑文件

vi ifcfg-eth0

加入：

IPADDR=192.168.128.10 //VMnet8同网段即可

NETMASK=255.255.255.0 //子网掩码

GATEWAY=192.168.128.2 //网关

ARPCHECK=no

更改：

ONBOOT=yes //激活网卡

BOOTPROTO=static //static静态dhcp动态none

增加dns
vi /etc/resolv.conf 添加
nameserver 8.8.8.8
nameserver 8.8.4.4
修改主机名
1. vi /etc/sysconfig/network 修改hostname为你心仪的主机名
2. vi /etc/hosts修改127.0.0.1后的localhost.localdomain为主机名

重启网卡：

命令：service network restart

注：centos6.5网卡默认开启了ARPCHECK，需要加入ARPCHECK=no，否则会报：

Determining if ip address192.168.128.10 is already in use

安装fastdfs

安装libevent

因为fastdfs中引用了libevent的类库，通过ssh客户端将libevent安装包传到虚拟机/usr目录下

解压libevent-2.0.22-stable.tar.gz
1. tar -zxvf libevent-2.022-stable.tar.gz //解压
2. mv libevent-2.022-stable libevent //重命名
编译安装libevent
1. cd libevent //进入libevent主目录
2. ./configure -prefix=/usr //生成makefile文件为编译做准bei

发现错Error: no acceptable C compiler found in $PATH，这是没有安装gcc套件

yuminstall gcc //安装gcc套件

安装gcc时候发现有报错Loaded plugins: fastestmirror Loading mirror speeds fromcached hostfile，这是因为yum开启了镜像下载，fastestmirror插件会根据响应速度来判断下载地址，因为地域等原因，下载不下来。解决方法：

方法一：yum--disableplugin=fastestmirror update

方法二：vi/etc/yum/pluginconf.d/fastestmirror.conf 更改为enable=0

再次运行yum–y install gcc，问题解决，开始下载,直至complete

回过头来在次运行

./configure -prefix=/usr //可以不指定prefix，默认安径/usr/local/bin，/usr/local/lib

make && make install && make clean //编译安装删除临时文件
ln -s /usr/lib/libevent* /lib64/ //创建安装文件的软连接

安装fastDFs

编译安装fastDFS

将fastDFS-4.06.tar.gz解压，并进入解压后的目录，执行编译安装
./make.sh     //编译
          编译的时候需要gcc，perl脚本，gcc前文已安装，此时还需要安装perl
                  yum–y install perl
./make.sh install //安装，路径如下图
如果没有报错，则应该是安装成功了，这是进入/etc/fdfs就可以看到配置文件了，如下图

克隆虚拟机

因为分布式部署，需要多台虚拟机，而如果在从头开始创建虚拟机的话，无疑是将上述的安装步骤再多做一次，而且，像perl，gcc等又需要下载编译安装，无疑是没必要的，而且，上面安装配置在每台机器上都一样，所以，就需要将上述配置的虚拟机克隆多份，用来做storage

克隆操作需要先关闭虚拟机，

在vmware我的计算机区域右键虚拟机，点击管理，点击下一步，下一步，选择完全克隆，等待完成

克隆完成后需要稍加稍加配置才能使用，因为其mac地址跟被克隆的机器一样。

修改mac地址：

vi/etc/udev/rules.d/70-persistent-net.rules //编辑网卡设备

内容如下：

# PCIdevice0x1022:0x2000 (pcnet32)
SUBSYSTEM=="net",ACTION=="add",DRIVERS=="?*",ATTR{address}=="00:0c:29:16:f4:f0",ATTR{type}=="1",KERNEL=="eth*", NAME="eth0"

# PCI device0x1022:0x2000 (pcnet32)
SUBSYSTEM=="net",ACTION=="add",DRIVERS=="?*", ATTR{address}=="00:0c:29:52:45:97",ATTR{type}=="1",KERNEL=="eth*", NAME="eth1"

注释第一个网卡，放开第二个网卡，并修改eth1位eth0，并记录mac地址(ATTR{address})

修改网络配置信息

Vi /etc/sysconfig/network-scripts/ifcfg-eth0

修改mac地址为记录的mac地址，ipaddr修改为同网段的ip

保存

注：1和2的步骤还可以这样做删除步骤一中的文件70-persistent-net.rules，删除步骤2中ifcfg-eth0的HADDR配置重启机

上面的配置，无论是配置tracker，还是storage，都是一样的，区别的就是接下来的配置

配置Tracker

编辑tracker配置：

vi /etc/fdfs/tracker.conf //编辑tracker的配置文件

修改base_path:

base_path=/opt/fastdfs_tracker //上传文件的信息和日志信息存放目录，需提前建好 ,其他配置自行配置

启动taracker

/usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf

其他命令：

停止tracker命令：/usr/local/bin/stop.sh /usr/local/bin/fdfs_trackerd

重启tracker命令:/usr/local/bin/restart.sh /usr/local/bin/fdfs_trackerd

删除一个storage节点:

/usr/local/bin/fdfs_monitor/etc/fdfs/storage.conf delete group1 192.168.128.221

查看tracker启动成功与否：

netstat –unltp|grep fdfs //查看端口号及监听情况端口默认22122如下图：

查看日志信息：

tail-100f /opt/fastdfs_tracker/logs/trackerd.log

配置防火墙设置端口22122可访问

tracker.conf配置文件的默认端口为22122，需要将此端口设置为可访问

vi/etc/sysconfig/iptables

添加(不同linux命令稍有不同，参考iptables中命令)：

-AINPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT

将服务加入到开机启动

vi /etc/rc.d/rc.local //编辑配置文件

加入命令：

/usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

这样，就完成开机即启动tracker服务端了

配置服务器Storag

配置storage.conf

vi /etc/fdfs/storage.conf //编辑配置文件

配置信息：

disabled=false //启用配置文件 false启用；true不启用

group_name=group1 //组名，根据实际情况修改多台服务器可配置不同的组，各组之间是独立的，互不影响

port=23000 //设置storage的端口号，默认是23000，同一个组的storage端口号必须一致

base_path=/opt/fastdfs_storage_info //设置storage的日志目录（需预先创建）

store_path_count=1 //存储路径个数，需要和下面store_path*个数匹配

store_path0=/opt/fastdfs_storage_data //存储路径

tracker_server=192.168.224.20:22122 //tracker服务器的IP端口号，可配置多个tracker_server

http.server_port=8888 //storage端口号

保存修改

更对配置信息查看配置文件的注释信息

启动storag

/usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf //启动

注：此时可能会出现光标一直顿住，没有切换到新的命令行，这是没启动成功

有可能是tracker端防火墙没有设置22122端口可访问的原因，或者直接关闭防火墙：

serviceiptables stop(即时生效，重启失效)
chkconfig iptables off (重启机器后生效)

检查storage是否注册到tracker中

/usr/local/bin/fdfs_monitor /etc/fdfs/storage.conf //将打印注册信息信息特别多，不再展示

将storage服务加入到开机启动

vi /etc/rc.d/rc.local //编辑配置文件

加入命令：

/usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf restart

这样，就完成开机即启动storage服务端了

注：如果tracker服务端的防火墙没有关闭，或者没设置22122端口可访问，就加入到开机启动，下次开机可能会导致此服务器启动不起来。

测试上传文件

本案例直接在tracker服务端做测试(也可以创建一个虚拟机做client端)

配置client.conf

vi /etc/fdfs/client.conf

base_path=/opt/fastdfs_tracker //存放路径

tracker_server=192.168.128.220:22122 //tracker服务器IP地址和端口号

http.tracker_server_port=8080

#include http.conf //双#变成单#

测试上传

在/usr下新建test.txt文件(自己随意)

/usr/local/bin/fdfs_test /etc/fdfs/client.conf upload /usr/test.txt

返回如下信息则上传成功：

可以在/opt/fastdfs_storage_datam(此路径为配置storage.conf时候配置的)目录下找到上传的文件。因为fastfds4.05以后删除了内置的web http服务，所以通过日志中的file url 用浏览器访问了

fastdfs-client-java测试

下载源码

源码下载地址:https://github.com/happyfish100/fastdfs-client-java

下载并解压后修改src目录下的配置文件fdfs_client.conf：

connect_timeout= 2

network_timeout= 30

charset =utf-8 //设置编码格式

http.tracker_http_port= 8080 //调度服务器(tracker)的端口号

http.anti_steal_token= no //是否生成token

http.secret_key= FastDFS1234567890 //如果生成token，则根据此key去生成

tracker_server= 192.168.128.220:22122 //tracker的ip和端口号

编译源码

设置完成后编译源码成jar文件

在命令窗口输入ant，将源码的src目录下的build.xml拖至命令行，回车即可(前提是已经设置了ant的环境变量)

将src/build目录下打包的jar包拷贝至工程lib目录

注：源码中的test目录下的java文件为原作者的测试代码，可不必打包，需修改build.xml。

测试上传下载

TrackerClient tracker =newTrackerClient();

TrackerServer trackerServer =tracker.getConnection();

StorageServer storageServer = null;

StorageClient client =

new StorageClient(trackerServer,storageServer);

NameValuePair[] meta_list = new NameValuePair[2]; //为上传文件设置元数据信息

meta_list[0]= new NameValuePair("width","800");

meta_list[1] = new NameValuePair("heigth","600");

byte[] file_buff = "this is atest".getBytes(ClientGlobal.g_charset);

results = client.upload_file(file_buff,"txt", meta_list); //上传文件

int no=

client.set_metadata(group_name,remote_filename,meta_list,ProtoCommon.STORAGE_SET_METADATA_FLAG_MERGE);

String group_name = results[0];

String remote_filename = results[1];

file_buff = client.download_file(group_name, remote_filename); //下载文件

int errno = client.delete_file(group_name,remote_filename);//删除服务器文件

更详细的javaAPI请参考下载的源码和test测试目录下的测试代码

0 0