MooseFS3.0分布式文件系统安装升级手记【安装升级03】

注意：本文出自 “阿飞”的博客 ，如果要转载本文章，请与作者联系！

并注明来源:http://blog.csdn.net/faye0412/article/details/75451963

本文主要讲解如何安装MooseFS 3.0.x版本或者如何从v1.6.27版本升级到v3.0.94。

一、服务器配置

  序号  

服务名

IP地址

    备注    

1

 mfsmaster

192.168.2.36

 

2

 mfsmetalogger

192.168.2.37

 

3

 chunkservers01    

    192.168.2.38     

 

4

 chunkservers02

192.168.2.39

 

5

 mfsmount

192.168.2.16

 

6

 mfsmount

 192.168.2.20  

二、备份文件

重点备份以下文件：

a) 配置文件目录中所有*.cfg文件；

b) metadata数据文件目录中的metadata.mfs文件；

说明：

1）v1.6.27版本配置文件位于：$MFS_HOME/etc/mfs/；v2.0版本以上配置文件位于：/etc/mfs/

2）v1.6.27版本metadata.mfs文件位于：$MFS_HOME/var/mfs/; v2.0版本以上metadata.mfs文件位于：/var/llib/mfs/

* 一定注意，备份文件的时候，必须关闭了所有MFS服务再进行备份操作，否则找不到metadata.mfs文件。

三、前置条件

1)  下载YUM的key认证文件

# curl "http://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS

2)  下载YUM的repo配置文件，这里为EL6(对应CentOS6.*)：

# curl "http://ppa.moosefs.com/MooseFS-3-el6.repo" > /etc/yum.repos.d/MooseFS.repo

# 其他版本系统参考：https://moosefs.com/download/centosfedorarhel.html

3)  更新repo配置(可选)

#yum update

4)  配置hosts（可选，在所有mfs server上配置）

# vim /etc/hosts

192.168.2.36   mfsmaster

192.168.2.37   mfsmetalogger

192.168.2.38   mfschunk01

192.168.2.39   mfschunk02

5)  防火墙配置

重要！！！所有MFS服务器中，均需要开放防火墙访问权限。

6） 添加mfs用户

#useradd -s /sbin/nologin mfs

如果服务器是内网环境，无法访问外网，则需要自行下载rpm文件并上传到需要安装或升级的服务器。

1)  复制安装文件

复制rpm文件到各服务器：

#scp  -r /home/username/mfs3.0.94 username@{IP}:/home/username/

注：Rpm文件可以从http://ppa.moosefs.com/MooseFS-2-el6.repo中获取。

可以连外网的服务器还是建议yum安装方式，具体参见官方文档。

2)  添加mfs用户

#useradd -s /sbin/nologin mfs

3)  安装RPM的KEY

#cp /home/username/mfs3.0.94/RPM-GPG-KEY-MooseFS /etc/pki/rpm-gpg/

rpm --import /etc/pki/rpm-gpg/RPM*

4)  安装依赖库

#yum install libpcap libpcap-devel –y

其他部分与前面配置相同。记得，一定要把前置配置工作做好，检查仔细，否则影响后续的安装。

四、安装或升级安装MFS

4.1 MFSMaster安装

1)  安装mfsmaster：

# yum install moosefs-master moosefs-cli moosefs-cgi moosefs-cgiserv

若无外网，则使用如下方法：

[root@mfsmastermfs3.0.94]# rpm -ivh moosefs-master-3.0.94-1.rhsysv.x86_64.rpm

Preparing...               ########################################### [100%]

   1:moosefs-master        ########################################### [100%]

2)  确认配置文件

在 /etc/mfs 下生成了相关的配置文件（mfsexports.cfg、mfsmaster.cfg 等） 

以下配置文件均采用默认值，不做修改：

mfsmaster.cfg          不需要修改

mfsexports.cfg         不需要修改

mfstopology.cfg       不需要修改

 

3)  更改权限

#chown -R mfs:mfs /var/lib/mfs 

#chown -R mfs:mfs /etc/mfs

4)  复制metadata.mfs文件到新目录：

注意！必须先停止mfsmaster服务后再复制出来！如果在不同主机迁移，需要使用scp命令

#/usr/local/mfs/sbin/mfsmasterstop

#cp /usr/local/mfs-1.6.27/var/mfs/metadata.mfs /var/lib/mfs

#chown -R mfs.mfs /var/lib/mfs

5)  移除mfs旧版本:

# rm -rf/usr/local/mfs

# mv /usr/local/mfs-1.6.27 /usr/local/mfs-1.6.27_bakmaster

 

6)  启动mfsmaster

#mfsmaster start

启动日志：

[root@mfsmastermfs3.0.94]# mfsmaster start

openfiles limit has been set to: 16384

working directory: /var/lib/mfs            注意这里的目录是否正确，如果还是旧版本的目录则不正确。

lockfilecreated and locked

initializingmfsmaster modules ...

exportsfile has been loaded

topologyfile has been loaded

loadingmetadata ...

loadingsessions data ... ok (0.0000)

loadingstorage classes data ... ok (0.0000)

loadingobjects (files,directories,etc.) ... ok (0.0613)

loadingnames ... ok (0.0619)

loadingdeletion timestamps ... ok (0.0000)

loadingquota definitions ... ok (0.0000)

loadingxattr data ... ok (0.0000)

loadingposix_acl data ... ok (0.0000)

loadingopen files data ... ok (0.0000)

loadingflock_locks data ... ok (0.0000)

loadingposix_locks data ... ok (0.0000)

loadingchunkservers data ... ok (0.0000)

loadingchunks data ... ok (0.0603)

checkingfilesystem consistency ... ok

connectingfiles and chunks ... ok

allinodes: 2254

directoryinodes: 13

fileinodes: 2241

chunks:2241

metadatafile has been loaded

statsfile has been loaded

master<-> metaloggers module: listen on *:9419

master<-> chunkservers module: listen on *:9420

mainmaster server module: listen on *:9421

mfsmasterdaemon initialized properly

 

7)   安装监控(mfscgiserv) 

MooseFS cgi server用于使用web端查看监控。安装如下：

# rpm –ivh moosefs-cgi-3.0.94-1.rhsysv.x86_64.rpm 

# rpm –ivh moosefs-cgiserv-3.0.94-1.rhsysv.x86_64.rpm 

注： 

      a) 如果装错，卸载(rpm -e --allmatches --nodeps moosefs-master-3.0.94-1.rhsysv.x86_64)

b) mfscgiserv安装位置：/usr/share/mfscgi

 

启动监控：#service moosefs-cgiserv start

查看监控：

       cgi服务启动后通过URL查看：http://IP:9425/mfs.cgi。

 

如果提示没有配置DNS，则需要修改hosts文件：

# vim /etc/hosts

192.168.2.36   mfsmaster

192.168.2.37   mfsmetalogger

192.168.2.38   mfschunk01

192.168.2.39   mfschunk02

启动后监控页面显示：

4.2 MFS Metalogger安装

1)  安装mfs3.0新版本的Metalogger：

# yum install moosefs-metalogger

若无外网，则使用如下方法：

#rpm –ivh moosefs-metalogger-3.0.94-1.rhsysv.x86_64.rpm

 

2)  修改mfsmetalogger.cfg文件，配置master_host的IP：

# vim /etc/mfs/mfsmetalogger.cfg

注：mfametalogger必须修改MASTER_HOST为mfsmaster的IP（10.51.37.183），除非配置了hosts。

另外，注意各文件权限及属主：

# chown -R mfs:mfs /var/lib/mfs 

# chown -R mfs:mfs /etc/mfs

3)  复制metadata.mfs文件到新目录：

注意！必须先停止mfsmetalogger服务后再复制出来！

#/usr/local/mfs/sbin/mfsmetalogger stop

# cp /usr/local/mfs-1.6.27/var/mfs/* /var/lib/mfs/

# chown -R mfs.mfs /var/lib/mfs

说明：这里的metadata可以从mfsmaster中直接复制过来。

 

4) 移除mfs旧版本：

# rm -rf /usr/local/mfs

# mv /usr/local/mfs-1.6.27 /usr/local/mfs-1.6.27_bakmetalog

注：这个步骤主要是针对旧版本升级到新版本时才需要操作。

5) 移除mfs旧版本的启动配置:

注释掉/etc/profile 和/etc/rc.local 中关于MFS部分的内容，然后执行source使其生效：

#source /etc/profile

#source /etc/rc.local

6) 启动metalogger：

#mfsmetalogger start

启动日志：

[root@mfs-metalogmfs]# mfsmetalogger start

openfiles limit has been set to: 4096

workingdirectory:/var/lib/mfs

lockfilecreated and locked

initializingmfsmetalogger modules ...

mfsmetaloggerdaemon initialized properly

7)  启动后监控页面显示：

4.3 MFS ChunkServer安装

1) 安装mfs3.0新版本的ChunkServer：

#yum install moosefs-chunkserver

若无外网，则使用如下方法：

# rpm -ivh moosefs-chunkserver-3.0.94-1.rhsysv.x86_64.rpm

Preparing...          ###########################################[100%]

       packagemoosefs-chunkserver-3.0.94-1.rhsysv.x86_64 is already installed

 

2)  修改mfschunkserver.cfg文件，配置master_host的IP：

# vim /etc/mfs/mfschunkserver.cfg

注：必须修改MASTER_HOST为mfsmaster的IP（10.51.37.183），除非配置了hosts。

另外，注意各文件权限及属主：

# chown -R mfs:mfs /var/lib/mfs 

# chown -R mfs:mfs /etc/mfs

3) 修改mfshdd.cfg文件，增加挂载点：/mnt/mfschunk

# vim /etc/mfs/mfshdd.cfg

注：增加或修改挂载点为：/mnt/mfschunk。并创建该挂载点目录及修改属主（mfs）。

同时，创建挂载点目录 ：

# mkdir /mnt/mfschunk

# chown -R mfs:mfs /mnt/mfschunk 

4) 移除mfs旧版本：

# rm -rf /usr/local/mfs

# mv /usr/local/mfs-1.6.27 /usr/local/mfs-1.6.27_bakchunk

5) 移除mfs旧版本的启动配置:

注释掉/etc/profile 和/etc/rc.local 中关于MFS部分的内容，然后执行source使其生效：

#source /etc/profile

#source /etc/rc.local

 

6) 启动chunkserver：

#mfschunkserver start

启动日志：

[root@mfs-chunk0*~]# mfschunkserver start

openfiles limit has been set to: 16384

workingdirectory: /var/lib/mfs

lockfilecreated and locked

settingglibc malloc arena max to 4

settingglibc malloc arena test to 4

initializingmfschunkserver modules ...

hddspace manager: path to scan: /mnt/mfschunk/

hddspace manager: start background hdd scanning (searching for available chunks)

mainserver module: listen on *:9422

nocharts data file - initializing empty charts

mfschunkserverdaemon initialized properly

7)  启动后监控页面显示：

Server标签

Disk标签：

4.4 Clients升级

1)  升级mfs3.0的clients：

#yum install moosefs-client

若无外网，则使用如下方法：

#rpm -ivh moosefs-client-3.0.94-1.rhsysv.x86_64.rpm

2) 移除mfs旧版本

#rm -rf /usr/local/mfs

#mv /usr/local/mfs-1.6.27 /usr/local/mfs-1.6.27_bakmount

3) 移除mfs旧版本的启动配置:

注释掉/etc/profile和 /etc/rc.local 中关于MFS部分的内容，然后执行source使其生效：

#source /etc/profile

#source /etc/rc.local

 

4)  启动mfsmount：

#mfsmount /mnt/mfsdata -H 192.168.2.36

启动日志：

#mfsmount /mnt/mfsdata -H 192.168.2.36

mfsmasteraccepted connection with parameters: read-write,restricted_ip,admin ; root mappedto root:root

 

启动后监控页面显示：

五、其他

所有的mfs服务都可以通过命令查看运行状态：

# tail -100f /var/log/message

 

可以通过web portal查看所有服务运行状态：

https://ip或域名:9425/mfs.cgi

        

MFS服务启动或关闭顺序：

1）启动顺序：

      Matseràmetaloggeràchunkeràclient

2）关闭顺序：

     clientàchunkàmetaloggeràmaster

另外，如果升级在同一台服务器上进行，则还需要将旧版本移除掉：

#rm -rf /usr/local/mfs

#mv /usr/local/mfs-1.6.27 /usr/local/mfs-1.6.27_bakmaster

另外，mfs旧版本的启动配置也需要移除：

注释或移除掉/etc/profile 和 /etc/rc.local 中关于MFS部分的内容，然后执行source使其生效。