RHEL 6.5安装DRBD

基本介绍

分布式复制块设备(DRBD技术)技术）技术）是一种基于软件的，无共享复制存储解决方案，在服务器之间对块设备（硬盘、分区、逻辑卷等）进行镜像。

环境描述

两台主机ceph1和ceph2，两台机器上分别有/dev/vdg磁盘，用来做DRBD的后端设备。示例中先以ceph1作为主节点进行配置，文章最后会展示如何将ceph2切换为主节点。

准备工作：

1、升级内核

    RHEL6.5默认使用2.6.32-431版本的内核，需要升级到2.6.32-504。下载内核相关版本软件包，安装、重启。

     yum localinstall kernel-firmware-2.6.32-504.el6.noarch.rpm kernel-2.6.32-504.el6.x86_64.rpm kernel-devel-2.6.32-504.el6.x86_64.rpm

2、添加包含DRBD的repo源及其他

    rpm -Uvh http://www.elrepo.org/elrepo-release-6-6.el6.elrepo.noarch.rpm

3、其他

    yum update –y

    setenforce 0

开始安装及配置

4、yum -y install drbd83-utils kmod-drbd83  （安装完后drbd服务默认是开启的，要先关闭）

5、两台机器上装载drbd 模块

     modprobe drbd

6、两台机器上准备两块相同的磁盘

7、编辑资源项

[root@ceph1 ~]# cat /etc/drbd.d/r0.res

resource r0 {

    startup {

        wfc-timeout 30;

        outdated-wfc-timeout 20;

        degr-wfc-timeout 30;

    } 

    net {

        cram-hmac-alg sha1;

        shared-secret sync_disk;

    }

    syncer {

        rate 10M;

        al-extents 257;

        on-no-data-accessible io-error;

    }

    on ceph1 {

        device /dev/drbd1;

        disk  /dev/vdg1;

        address 10.10.1.9:7789;

        flexible-meta-disk internal;

    }

    on ceph2 {

        device /dev/drbd1;

        disk  /dev/vdg1;

        address 10.10.1.10:7789;

        flexible-meta-disk internal;

    }

}

8、确保两台机器DNS可以相互解析

[root@ceph1 ~]# cat /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

10.10.1.9 ceph1

10.10.1.10 ceph2

9、确保两台机器时间同步

[root@ceph1 ~]# cat /etc/crontab

SHELL=/bin/bash

PATH=/sbin:/bin:/usr/sbin:/usr/bin

MAILTO=root

HOME=/

5 * * * * root ntpdate 192.168.1.101 

10、同步两台机器的资源项配置

[root@ceph1 ~]# scp /etc/drbd.d/r0.res ceph2:/etc/drbd.d/r0.res

11、在两台机器上初始化DRBD metadata

[root@ceph1 ~]# drbdadm create-md -c /etc/drbd.conf r0

[root@ceph2 ~]# drbdadm create-md -c /etc/drbd.conf r0

12、在两台机器上启动drbd服务（先启动一个，在等待时间内启动第二个）

[root@ceph1 ~]# service drbd start

[root@ceph2 ~]# service drbd start

13、在主节点上同步数据

[root@ceph1 ~]# drbdadm  -- --overwrite-data-of-peer primary r0

14、在两台机器上查看/proc/drbd确保同步完成

[root@ceph1 ~]# cat /proc/drbd

version: 8.3.16 (api:88/proto:86-97)

GIT-hash: a798fa7e274428a357657fb52f0ecf40192c1985 build by phil@Build64R6, 2014-11-24 14:51:37

 

 1: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----

    ns:15235688 nr:0 dw:954964 dr:14283129 al:271 bm:907 lo:0 pe:24 ua:0 ap:0 ep:1 wo:f oos:37264680

         [====>...............] sync'ed: 29.0% (36388/51196)M

         finish: 0:59:07 speed: 10,500 (9,884) K/sec

15、主节点上为drbd设备创建文件系统

[root@ceph1 ~]# mkfs.ext4 /dev/drbd1

16、挂载后即可使用

[root@ceph1 ~]# mount /dev/drbd1 /mnt/drbd1

确认

[root@ceph1 ~]# df –h

 

注意：不要在第二个节点上挂载，在主节点上写入drbd设备的数据会自动同步到第二个节点上去。要在第二个节点上使用数据，需要将第二个节点切换为主节点。

切换时，先在主节点上卸载文件系统，将第二个节点变更为主节点并挂载后即可使用，会看到之前在主节点上写入的数据。

 

17、切换主次节点

[root@ceph1 ~]# umount /dev/drbd1

[root@ceph1 ~]# drbdadm -c /etc/drbd.conf secondary r0

[root@ceph2 ~]# drbdadm -c /etc/drbd.conf -- --overwrite-data-of-peer primary r0

[root@ceph2 ~]# mount /dev/drbd1 /mnt/drbd1

确认

[root@ceph2 ~]# df –h  并且可以看到之前写入的数据