Linux DRBD 部署
来源：互联网 发布：wps登录显示网络异常 编辑：程序博客网 时间：2024/04/30 12:35
目 录1概述.....................................................................2镜像要求.................................................................3准备工作.................................................................3.1编译安装.................................................................3.2drbd安装概...............................................................3.3调整启动脚本.............................................................4建立drbd.................................................................4.1初始化Primary机(master)..................................................4.2 验证磁盘镜像结果..........................................................5drbd测试.................................................................5.1写入文件测试.............................................................5.2写入50000个20k的小文件测试...............................................6几点注意的地方...........................................................1概述Distributed Replicated Block Device (DRBD) 分布式复制块设备DRBD实际上是一种块设备的实现,主要被用于Linux平台下的高可用(HA)方案之中。他是有内核模块和相关程序而组成，通过网络通信来同步镜像整个设备，有点类似于一个网络RAID的功能。也就是说当你将数据写入本地的DRBD设备上的文件系统时,数据会同时被发送到网络中的另外一台主机之上，并以完全相同的形式记录在一个文件系统中（实际上文件系统的创建也是由DRBD的同步来实现的）。本地节点（主机）与远程节点（主机）的数据可以保证实时的同步，并保证IO的一致性。所以当本地节点的主机出现故障时,远程节点的主机上还会保留有一份完全相同的数据,可以继续使用，以达到高可用的目的。在高可用(HA)解决方案中使用DRBD的功能,可以代替使用一个共享盘阵存储设备。因为数据同时存在于本地主机和远程主机上,在遇到需要切换的时候,远程主机只需要使用它上面的那份备份数据,就可以继续提供服务了 源码下载http://oss.linbit.com/drbd/0.7/drbd-0.7.19.tar.gz核心参考文档：http://www.drbd.org/drbd-howto.html2镜像要求实现vmware虚拟机192.168.197.134磁盘/dev/sdb1镜像到vmware虚拟机192.168.197.135磁盘/dev/sdb1。主服务器为192.168.197.134 (data01)简称为134；备份服务器为192.168.10.135(data02) 简称为135；3准备工作安装环境：Red Hat Enterprise Linux AS release 5，内核版本：2.6.18-164.el5drbd内核源码存在,可到http://oss.linbit.com/drbd/去下载.配置好yum仓库[root@data01 ~]# yum install kernel* [root@data01 ~]# yum install gcc*[root@data01 ~]#yum install make*3.1编译安装[root@data01 ~]#cd /usr/local/src/drbd[root@data01 ~]#./configure --prefix=/usr/local/drbd --with-km[root@data01 ~]#make[root@data01 ~]#make install[root@data01 ~]#ln -s /usr/local/drbd/etc/drbd.conf /etc/drbd.conf[root@data01 ~]#ln -s /usr/local/drbd/etc/rc.d/init.d/drbd /etc/init.d/drbd[root@data01 ~]#chkconfig --add drbd[root@data01 ~]#chkconfig drbd on 3.2DRBD安装概述[root@data01 ~]#make install安装完主要生成命令：drbdsetup ,drbdadmin,执行之后: drbd.ko被安装到/lib/modules/$KernelVersion/kernel/drivers/block下. 如果不是在上面的路径下的话，就到程序目录下的drbd/目录里，有一个drbd.kodrbd相关工具(drbdadm,drbdsetup)被安装到/sbin下. 并会在/etc/init.d/下建立drbd启动脚本.3.3调整启动脚本[root@data01 ~]# vim /etc/init.d/drbdcase "$1" in start) 在start服务后添加以下内容insmod /lib/modules/2.6.18-164.el5/kernel/drivers/block/drbd.ko cat > /etc/drbd.conf <<EOFglobal { usage-count yes; }common { protocol C; syncer { rate 3M; } startup { wfc-timeout 10; degr-wfc-timeout 120; outdated-wfc-timeout 5; }}resource r0 { device minor 1; meta-disk internal; # 设置主备机之间通信使用的信息算法. net { cram-hmac-alg sha1; shared-secret "secret string"; } # 每个主机的说明以"on"开头,后面是主机名.在后面的{}中为这个主机的配置 on data01 { device /dev/drbd0; disk /dev/sdb1; address 192.168.197.134:7801; } on data02 { device /dev/drbd0; disk /dev/sdb1; address 192.168.197.135:7801; }}EOF 4.建立drbd建立drbd设备,启动drbd服务(master,slave)1.建立md设备在启动DRBD之前,你需要分别在两台主机的sdc1分区上,创建供DRBD记录信息的数据块.注意:如果你在这步之前已经给/dev/sdb1格式化的话，这里会报错，并且无法继续,抱错内容如下:md_offset ........... al_offset ........... bm_offset ........... Found ext3 filesystem which uses Device size would be truncated, which would corrupt data and result in 'access beyond end of device' errors. You need to either * use external meta data (recommended) * shrink that filesystem first * zero out the device (destroy the filesystem) Operation refused. Command 'drbdmeta 根据报错和官方描述的大概意思就是:有了文件系统，会被认为该设备已经被使用，不能被drbd所使用，最好的解决办法就是低格硬盘破坏该文件系统 官方的方法如下： 破坏文件系统 ：dd if=/dev/zero bs=1M count=1 of=/dev/sda3; sync [root@data01 ~]#drbdadm create-md r0 // 配置文件中的resource名 --== Thank you for participating in the global usage survey ==--The server's response is:you are the 1889th user to install this versionWriting meta data...initializing activity logNOT initialized bitmapNew drbd meta data block successfully created.Success2.启动drbd服务程序[root@data01 ~]# /etc/init.d/drbd start3. 确认drbd状态[root@data01 ~]# cat /proc/drbdversion: 8.3.9 (api:88/proto:86-91)GIT-hash: f3606c47cc6fcf6b3f086e425cb34af8b7a81bbf build by root@master , 2010-07-12 15:36:10 0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r---- ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:10723020--------Secondary/Secondary 表示两个节点都处于辅助(从)状态先确认两台要镜像的机器是否正常，之间的网络是否通畅，需要加载的硬盘是否处于umount状态，配置文件是否一致。drbd采用的是模块控制的方式，所以先要加载drbd.ko 模块4.1初始化Primary机(master): 1. 设为主导状态(同步发起端)[root@data01 ~]# drbdsetup /dev/drbd0 primary -o[root@data01 ~]#cat /proc/drbd version: 8.3.9 (api:88/proto:86-95)GIT-hash: 1c3b2f71137171c1236b497969734da43b5bec90 build by root@data01, 2011-06-19 11:05:32 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r----- ns:2554636 nr:0 dw:104868 dr:2449970 al:36 bm:150 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0-------如需降级为备机,可执行umount /dev/drbd0 drbdadm secondary r0[root@data01 ~]#netstat -antActive Internet connections (servers and established)Proto Recv-Q Send-Q Local Address Foreign Address State tcp 0 0 127.0.0.1:2208 0.0.0.0:* LISTEN tcp 0 0 0.0.0.0:674 0.0.0.0:* LISTEN tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN tcp 0 0 127.0.0.1:2207 0.0.0.0:* LISTEN tcp 0 0 192.168.197.134:35996 192.168.197.135:7801 ESTABLISHED tcp 0 0 192.168.197.134:7801 192.168.197.135:47924 ESTABLISHED tcp 0 0 :::22 :::* LISTEN tcp 0 1056 ::ffff:192.168.197.134:22 ::ffff:192.168.197.1:50615 ESTABLISHED4.2 验证磁盘镜像结果1. master主节点[root@data01 ~]#mkfs.ext3 /dev/drbd0 //此操作只要主的上进行即可 [root@data01 ~]#mkdir /data[root@data01 ~]#mount -o rw /dev/drbd0 /data2.slave备节点[root@data02 ~]#mkdir /data设置权限drbd的基本服务都起来了，现在需要对主的服务器也就使192.168.197.134这台服务器进行配置，使之能够对drbd0设备进行读写。在134机器上运行[root@data01 data]# drbdadm -- --do-what-I-say primary r0drbdsetup primary: unrecognized option '--do-what-I-say'Command 'drbdsetup 0 primary --do-what-I-say' terminated with exit code 20drbdadm primary r0: exited with code 20#设置134服务器为同步主目录,也就是同步以134的这个分区为准.注意命令格式需要一样,没有任何提示的话表示基本上成功了#df –h[root@data01 data]# df -h文件系统 容量 已用 可用 已用% 挂载点/dev/sda2 12G 5.0G 5.8G 47% //dev/sda1 99M 29M 65M 31% /boottmpfs 125M 0 125M 0% /dev/shm/dev/drbd0 2.3G 68M 2.2G 4% /data现在/dev/drbd0就等于你服务器上面的一个硬件设备，你可以对他进行任何的读写操作。5drbd测试5.1写入文件测试1:在134主服务器上#drbdadm primary r0#time dd if=/dev/zero of=/data/drbdtest count=100 bs=100000#ls –lh /data/[root@data01 data]# drbdadm primary r0[root@data01 data]# time dd if=/dev/zero of=/data/drbdtest count=100 bs=100000100+0 records in100+0 records out10000000 bytes (10 MB) copied, 0.0494228 seconds, 202 MB/sreal 0m0.099suser 0m0.001ssys 0m0.049s[root@data01 data]# ls -lh /data/总计 9.6M-rw-r--r-- 1 root root 9.6M 06-19 14:11 drbdtestdrwx------ 2 root root 16K 06-19 12:16 lost+found[root@data01 data]# umount /data/ [root@data01 ~]# drbdadm secondary r0 2:接着到135备用服务器上执行[root@data02 ~]# drbdadm primary r0[root@data02 ~]# mount /dev/drbd0 /data/ #ls –lh /data[root@data02 ~]# ls -lh /data/总计 9.6M-rw-r--r-- 1 root root 9.6M 06-19 14:11 drbdtestdrwx------ 2 root root 16K 06-19 12:16 lost+found可以看到数据在134服务器写入,在135马上可以看到。5.2写入50000个20k的小文件测试[root@data02 ~]# cat test.sh#!/bin/shfor((i=0;i<$1;i++));dodd if=/dev/zero of=/data/$i count=20 bs=1000;done执行：time ./test.sh 50000在/data目录下写入40000个20k的小文件，耗时10分20秒,速度稍慢。6几点注意的地方1. mount drbd设备以前必须把设备切换到primary状态。2. 两个节点中，同一时刻只能有一台处于primary状态，另一台处于secondary状态。3. 处于secondary状态的服务器上不能加载drbd设备。4. 主备服务器同步的两个分区大小最好相同,这样不至于浪费磁盘空间,因为drbd磁盘镜像相当于网络raid 1.5.在配置过程中,如果出现下面错误Missing argument 'meta_data_dev'USAGE:disk lower_dev meta_data_dev meta_data_index [{--size|-d} 0 ... 8587575296] [{--on-io-error|-e} {pass_on|call-local-io-error|detach}] [{--fencing|-f} {dont-care|resource-only|resource-and-stonith}] [{--use-bmbv|-b}]那么就还要初始化meta-data areadrbdadm create-md r05.测试中发现，一次性创建小文件过多的话，会导致/dingwy分区变成只读分区，不知道是在虚拟机的问题还是drbd不太稳定，还需要进一步测试。
