gfs2分布式文件系统的创建

此次搭建gfs2文件系统是以这篇博文为前提，链接如下

http://blog.csdn.net/wjciayf/article/details/40679289

 

为了实验过程的清晰，故把示意图再次放在本节作为参考

一：实验环境描述如下

1.在上次试验中已经安装好了这两台虚拟机，如下所示

[root@localhost ~]# virsh list --all

 Id   Name                          State

----------------------------------------------------

 -    rhel6.4-1                     shut off

 -    rhel6.4-2                     shut off

2.把Vmware上的rhel6.4作为管理节点同时也作为共享存储SAN节点（额外添加一块10g硬盘，作为共享磁盘）

3.两台虚拟机作为gfs节点

4.主机名和IP关系对应如下

172.16.1.1        manager

172.16.1.2        gfs1

172.16.1.3        gfs2

5.集群名为GfsCluster

 

二：配置管理节点

1.设置主机名、hosts文件、配置manager,gfs1,gfs2基于秘钥的访问（前面的操作gfs1,gfs2同时设置）

2.安装luci和scsi-target-utils

[root@manager ~]# yum -y install luci scsi-target-utils

3.启动luci

[root@manager ~]# chkconfig luci on ;/etc/init.d/luci start

Point your web browser tohttps://manager:8084 (or equivalent) to access luci

[root@manager ~]#

4.把新添加的10g硬盘分成一个1g（作为qdisk）分区sdb1和一个9g（作为gfs2）分sdb2

5.配置iscsitarget

[root@manager ~]# grep -v "^#" /etc/tgt/targets.conf

default-driver iscsi

<targetiqn.2014-10.com.wjcyf:server.target1>

   backing-store /dev/sdb1

   backing-store /dev/sdb2

</target>

6.启动tgtd服务并检查是否正确生成目标

[root@manager ~]# chkconfig tgtd on;/etc/init.d/tgtd start

Starting SCSI target daemon:                               [  OK  ]

[root@manager ~]#

[root@manager ~]# tgt-admin -s

Target 1:iqn.2014-10.com.wjcyf:server.target1

   System information:

       Driver: iscsi

       State: ready

   I_T nexus information:

   LUN information:

       LUN: 0

           Type: controller

           SCSI ID: IET     00010000

           SCSI SN: beaf10

           Size: 0 MB, Block size: 1

           Online: Yes

           Removable media: No

           Prevent removal: No

           Readonly: No

           Backing store type: null

           Backing store path: None

           Backing store flags:

       LUN: 1

           Type: disk

           SCSI ID: IET     00010001

           SCSI SN: beaf11

           Size: 1000 MB, Block size: 512

           Online: Yes

           Removable media: No

           Prevent removal: No

           Readonly: No

           Backing store type: rdwr

           Backing store path: /dev/sdb1

           Backing store flags:

       LUN: 2

           Type: disk

           SCSI ID: IET     00010002

           SCSI SN: beaf12

           Size: 9737 MB, Block size: 512

           Online: Yes

           Removable media: No

           Prevent removal: No

           Readonly: No

           Backing store type: rdwr

           Backing store path: /dev/sdb2

           Backing store flags:

   Account information:

   ACL information:

       ALL

[root@manager ~]#

 

三：配置gfs1和gfs2节点

1.安装rgmanager,cman,gfs2-utils,iscsi-initiator等相关软件包

[root@manager ~]# for i in 1 2; do ssh gfs$i yum -y install rgmanager cman gfs2-utils iscsi-initiator-utils; done

2.启动ricci服务并为ricci用户设置密码

[root@manager ~]# for i in 1 2; do ssh gfs$i "chkconfig ricci on ; /etc/init.d/ricci start"; done

[root@manager ~]# for i in 1 2; do ssh gfs$i 'echo "111111" | passwd --stdin ricci' ; done

Changing password for user ricci.

passwd: all authentication tokens updatedsuccessfully.

Changing password for user ricci.

passwd: all authentication tokens updatedsuccessfully.

3.连接iscsi服务

[root@manager ~]# for i in 1 2; do ssh gfs$i iscsiadm --mode discoverydb --type sendtargets --portal manager --discover;done

[root@manager ~]# for i in 1 2; do ssh gfs$i /etc/init.d/iscsi start; done

4.此时新发现的磁盘sda将作为qdisk，sdb将作为gfs2，如下所示

[root@gfs1 ~]# lsblk

NAME  MAJ:MIN RM   SIZE RO TYPEMOUNTPOINT

vda   252:0    0     5G 0 disk

vda1 252:1    0   3.9G 0 part /

vda2 252:2    0   1.1G 0 part [SWAP]

sda     8:0    0 953.7M  0 disk

sdb     8:16   0   9.1G 0 disk

[root@gfs1 ~]#

5.在gfs1或gfs2上给/dev/sdb分成一个分区/dev/sdb1

6.创建gfs2挂载目录/gfs2

[root@manager ~]# for i in 1 2; do ssh gfs$i mkdir /gfs2; done

 

四.创建GfsCluster集群

1.打开IE浏览器输入https://192.168.78.11:8804

2.点击“继续浏览此网站（不推荐）”—输入manager节点用户名"root"，密码：111111，即可进入luci管理界面，如下所示

3.依次点击“Manager clusters”—“Create”打开“创建新集群”对话框，如下所示

4.填写相关内容后，如下所示

5.确认无误后，点击“CreateCluster”,如下所示，正在创建集群

6.集群创建完毕，如下所示

五：创建gfs2分布式文件系统

1.在gfs1或gfs2上操作，查看集群状态

[root@gfs1 ~]# clustat

Cluster Status for GfsCluster @ Wed Oct 2907:03:30 2014

Member Status: Quorate

 

 Member Name                             ID   Status

 ------ ----                             ---- ------

 gfs1                                        1Online, Local

 gfs2                                        2Online

[root@gfs1 ~]#

 

2. 创建gfs2文件系统

[root@gfs1 ~]# mkfs.gfs2 -j 2 -p lock_dlm -t GfsCluster:TestGfs /dev/sdb1

This will destroy any data on /dev/sdb1.

It appears to contain: data

 

Are you sure you want to proceed? [y/n] y

 

Device:                           /dev/sdb1

Blocksize:                     4096

Device Size                   9.07 GB (2377212 blocks)

Filesystem Size:           9.07 GB (2377212 blocks)

Journals:                       2

Resource Groups:           37

Locking Protocol:          "lock_dlm"

Lock Table:                "GfsCluster:TestGfs"

UUID:                     f7fe8f5f-98a6-478c-2845-9a8d26b229f1

[root@gfs1 ~]#

其中参数含义如下：

-j          //设置支持的节点数

-p         //指定锁方式为分布式锁

-t         //指定DLM锁所在的表名称

3.挂载gfs2文件系统

[root@manager ~]# for i in 1 2; do ssh gfs$i 'echo "/dev/sdb1    /gfs2     gfs2     defaults   0 0" >>/etc/fstab'; done

[root@manager ~]# for i in 1 2; do ssh gfs$i mount /gfs2; done

[root@manager ~]# for i in 1 2; do ssh gfs$i chkconfig gfs2 on; done

[root@manager ~]# for i in 1 2; do ssh gfs$i df -h |grep gfs2; done

/dev/sdb1             9.1G 259M  8.9G   3% /gfs2

/dev/sdb1             9.1G  259M 8.9G   3% /gfs2

[root@manager ~]#

4.在/gfs2下创建一个名为abcd的文件夹，然后到gfs2上去查看

[root@gfs1 ~]# mkdir /gfs2/abcd

[root@gfs2 ~]# ll /gfs2/

total 4

drwxr-xr-x 2 root root 3864 Oct 29 07:14abcd

[root@gfs2 ~]#

由此也说明gfs2基本配置成功

 

六：配置fence设备

1.以上配置的gfs2文件系统，在正常关机和重启的情况下是可以正常工作的，但是如果不是正常关机和重启，比如其中一个节点突然死机或网线被拔出，这时gfs2就不能正常工作了，一个节点网线被拔出后，gfs2文件系统就会挂起，另一个节点也就不能正常的读写操作，这个时候就需要fence设备

2.RHCS提供的fence设备分为两种,一种是内部fence，一种是外部fence

内部fence常见的如下：

■IBM服务器提供的RSAII卡

■HP服务器提供的iLO卡

■DELL服务器提供的DRAC卡

■智能平台管理接口IPMI

外部fence常见的如下：

■UPS电源

■SAN SWITCH

■NETWORK SWITCH

 

关于fence设备的添加，下片博文再做讨论