Mysql高可用性实施方案

Mysql高可用性实施方案

 

 

 

 

陆地

2012-11-30

目录

一、实施测试环境：.... 2

二、系统架构图.... 2

三、Mysql的安装步骤.... 3

四、主从双机热备配置步骤（异步复制功能）....5

4.1主服务器Master配置... 5

4.1.1 创建同步用户... 5

4.1.2 修改mysql配置文件... 5

4.1.3 重启mysql服务... 6

4.1.4 查看主服务器状态... 7

4.2 从服务器Slave配置... 7

4.2.1修改配置文件... 7

4.2.2重启mysql服务... 8

4.2.3用changemster 语句指定同步位置...8

4.2.4查看从服务器（Slave）状态...8

4.3 测试同步... 9

4.4 配置参数说明... 10

5、设置双机半同步功能.... 13

5.1简介... 13

5.2设置主库... 13

5.3 设置从库：... 13

5.4 查看半同步状态：... 14

6、安装MHAmanager和MHAnode..14

6.1简介... 14

6.2部署结构... 14

6.3安装第三方yum源... 15

6.4安装步骤... 15

6.5配置manager. 15

6.6设置远程访问mysql权限... 16

6.7建立ssh无密码登录环境... 17

6.8测试运行... 17

一、实施测试环境：

系统：centos6.2

Mysql版本：mysql-5.5.28

准备两台服务器做双机热备，主从数据服务器的版本均为mysql-5.5.28

主服务器Master ip：59.151.15.36

从服务器Slave ip： 218.206.70.146

双机热备方案：mysqlreplication（异步复制）（5.5新增的半同步复制）

双机failover方案：mha软件

 

 

二、系统架构图

本实施方案采用mysql自身的复制功能和第三方开源的高可用性软件MHA，如下图所示：

三、 Mysql的安装步骤

mysql从5.5版本开始，不再使用./configure编译，而是使用cmake编译器，具体的cmake编译参数可以参考mysql官网文档(※ 非常重要)
http://dev.mysql.com/doc/refman/5.5/en/source-configuration-options.html

mysql-5.5.28.tar.gz源码包下载地址：
http://cdn.mysql.com/Downloads/MySQL-5.5/mysql-5.5.28.tar.gz

我的mysql目录配置如下：
安装路径：/usr/local/mysql
数据库路径：/data/mysql

 

准备工作：安装基本依赖包，先用yum安装cmake、automake 、autoconf ，另MySQL 5.5.x需要最少安装的包有：bison,gcc、gcc-c++、ncurses-devel

（1）安装依赖包

# yum install cmake make -y
# yum install gcc gcc-c++ autoconf bison automake zlib* fiex* libxml*ncurses-dev

 

（2）解压

# tar -zxvf mysql-5.5.28.tar.gz

 

（3）进入安装目录

# cd mysql-5.5.28

 

（4）用cmake编译安装

# cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
        -DMYSQL_UNIX_ADDR=/data/mysql/mysql.sock \
        -DDEFAULT_CHARSET=utf8 \
        -DDEFAULT_COLLATION=utf8_general_ci \
        -DWITH_EXTRA_CHARSETS:STRING=utf8,gbk \
        -DWITH_INNOBASE_STORAGE_ENGINE=1 \
        -DWITH_READLINE=1 \
        -DENABLED_LOCAL_INFILE=1 \
        -DMYSQL_DATADIR=/data/mysql/ \
        -DMYSQL_USER=mysql \
        -DMYSQL_TCP_PORT=3306

# make && make install

 

 

 

（5）建立mysql组

# groupadd mysql

 

（6）建立mysql用户并且加入到mysql组中

 # useradd mysql –g mysql

 

（7）把mysql文件设定为mysql用户访问权限

# chown –R mysql:mysql  /usr/local/mysql

 

(7)转为mysql用户操作状态

# su mysql

 

(8)进入到mysql目录中

# cd /usr/local/mysql

 

(9)把mysql配置文件复制到/etc/my.cnf（其中设置了mysql的各文件路径和性能参数）

# cp support-files/my-medium.cnf  /etc/my.cnf

 

(10)使用mysql_install_db初始化表并规定用mysql用户访问，会在mysql目录下产生data目录

# scripts/mysql_install_db  --user=mysql --basedir=/usr/local/mysql --datadir=/data/mysql/  

 

(11)使用mysqld_safe命令启动安全模式下的mysql服务器

# ./bin/mysqld_safe --user=mysql &

（注：如果启动mysql没有问题，应该会出现类似这样的提示：

[1] 42264

# Starting mysqld deamon with databases from/usr/local/mysql/data

如果出现mysql ended这样的语句，表示mysql没有正常启动，可以到log中查找问题，log文件一般在/etc/my.cnf中配置，大多是权限不对导致）

 

（12）创建mysql服务器的用户名和密码(这里创建root用户名和密码123456)

# ./bin/mysqladmin –u root password 123456

 

（13）设置mysqld服务，使其能开机启动

# cp ./support-files/mysql.server /etc/rc.d/init.d/mysqld

 

(14)启动mysql服务器

# service mysqld start

 

(15)可查看3306端口是否已打开

# netstat –nl | grep 3306

 

(16)登录mysql服务器中(能成功登录到mysql，说明安装成功)

# ./bin/mysql –u root –p123456

 

 

 

四、主从双机热备配置步骤（异步复制功能）

 

4.1主服务器Master配置

 

4.1.1 创建同步用户

进入mysql操作界面，在主服务器上为从服务器建立一个连接帐户，该帐户必须授予REPLICATIONSLAVE权限。因为从mysql版本3.2以后就可以通过REPLICATION对其进行双机热备的功能操作。

 

（1）设置登录访问mysql复制权限，账号密码都为：repl，使从服务器能远程复制：

mysql> grant replication slave on *.* to'repl'@'218.206.70.146' identified by 'repl';

mysql> flush privileges;

 

(2)也用同样的方式在从服务器也创建复制权限，使主服务器能访问从：

mysql> grant replication slave on *.* to'repl'@'59.151.15.36' identified by 'repl';

mysql> flush privileges;

 

 

（3）创建好同步连接帐户后，我们可以能过在从服务器（Slave）上用replicat帐户对主服务器（Master）数据库进行访问下，看下是否能连接成功。

在从服务器（Slave）上输入如下指令：

[root@YD146 ~]# mysql -h59.151.15.36 -urepl–prepl

如果从服务器能登上无误，则表示能登录成功，说明可以对这两台服务器进行双机热备进行操作。

 

4.1.2 修改mysql配置文件

如果上面的准备工作做好，那边我们就可以进行对mysql配置文件进行修改了，首先找到mysql日志所有在目录，一般在安装好mysql服务后，都会将配置文件复制一一份出来放到/ect目录下面，并且配置文件命名为：my.cnf。即配置文件准确目录为/etc/my.cnf

找到配置文件my.cnf打开后，在[mysqld]下修改即可：

[mysqld]

server-id = 1

log-bin=mysql-bin               //其中这两行是本来就有的，可以不用动，添加下面两行即可

binlog-do-db = test

binlog-ignore-db = mysql

 

4.1.3 重启mysql服务

修改完配置文件后，保存后，重启一下mysql服务，如果成功则没问题。

 

4.1.4 查看主服务器状态

进入mysql服务后，可通过指令查看Master状态，输入如下指令：

注意看里面的参数，特别前面两个File:mysql-bin.000016和Position:107，在从服务器（Slave）配置主从关系会有用到的。

(注：这里使用了锁表，目的是为了产生环境中不让进新的数据，好让从服务器定位同步位置，初次同步完成后，记得解锁。)

 

 

 

 

 

 

 

 

 

 

 

4.2 从服务器Slave配置

 

4.2.1修改配置文件

因为这里面是以主－从方式实现mysql双机热备的，所以在从服务器就不用在建立同步帐户了，直接打开配置文件my.cnf进行修改即可，道理还是同修改主服务器上的一样，只不过需要修改的参数不一样而已。如下：

[mysqld]

server-id = 2

log-bin=mysql-bin

replicate-do-db = test

replicate-ignore-db =mysql,information_schema,performance_schema

 

4.2.2重启mysql服务

修改完配置文件后，保存后，重启一下mysql服务，如果成功则没问题。

 

4.2.3用change mster 语句指定同步位置

这步是最关键的一步了，在进入mysql操作界面后，输入如下指令：

mysql>stopslave;          //先停步slave服务线程，这个是很重要的，如果不这样做会造成以下操作不成功。

 

mysql>change master to

>master_host='59.151.15.36',master_user='repl,master_password='repl',

> master_log_file=' mysql-bin.000016',master_log_pos=107;

(注：master_log_file, master_log_pos由主服务器（Master）查出的状态值中确定。也就是刚刚叫注意的。master_log_file对应File, master_log_pos对应Position。Mysql 5.x以上版本已经不支持在配置文件中指定主服务器相关选项。)

 

则要重新设置slave。指令如下

mysql>stop slave;

mysql>reset slave;

之后停止slave线程重新开始。成功后，则可以开启slave线程了。

mysql>start slave;

 

4.2.4查看从服务器（Slave）状态

用如下指令进行查看

mysql> show slave status\G;

查看下面两项值均为Yes，即表示设置从服务器成功。

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

 

4.3 测试同步

在数据库test创建了一个表tb_mobile没有数据，我们可以先查看下两服务器的数据库是否有数据：

Master:59.151.15.36

 

Slave:218.206.70.146

好了，现在可以在Master服务器中插入数据看下是否能同步。

 

 

 

Master:59.151.15.36

 

Slave:218.206.70.146

 

可以从上面两个截图上看出，在Master服务器上进行插入的数据在Slave服务器可以查到，这就表示双机热备配置成功了。

 

 

4.4 配置参数说明

 

Server-id

ID值唯一的标识了复制群集中的主从服务器，因此它们必须各不相同。Master_id必须为1到232－1之间的一个正整数值，slave_id值必须为2到232－1之间的一个正整数值。

 

Log-bin

表示打开binlog，打开该选项才可以通过I/O写到Slave的relay-log，也是可以进行replication的前提。

 

Binlog-do-db

表示需要记录二进制日志的数据库。如果有多个数据可以用逗号分隔，或者使用多个binlog-do-dg选项。

 

Binglog-ingore-db

表示不需要记录二进制日志的数据库，如果有多个数据库可用逗号分隔，或者使用多binglog-ignore-db选项。

 

Replicate-do-db

表示需要同步的数据库，如果有多个数据可用逗号分隔，或者使用多个replicate-do-db选项。

 

Replicate-ignore-db

表示不需要同步的数据库，如果有多个数据库可用逗号分隔，或者使用多个replicate-ignore-db选项。

 

Master-connect-retry

master-connect-retry=n表示从服务器与主服务器的连接没有成功，则等待n秒（s）后再进行管理方式（默认设置是60s）。如果从服务器存在mater.info文件，它将忽略些选项。

 

Log-slave-updates

配置从库上的更新操作是否写入二进制文件，如果这台从库，还要做其他从库的主库，那么就需要打这个参数，以便从库的从库能够进行日志同步。

 

Slave-skip-errors

在复制过程，由于各种原因导致binglo中的sql出错，默认情况下，从库会停止复制，要用户介入。可以设置slave-skip-errors来定义错误号，如果复制过程中遇到的错误是定义的错误号，便可以路过。如果从库是用来做备份，设置这个参数会存在数据不一致，不要使用。如果是分担主库的查询压力，可以考虑。

 

Sync_binlog=1 or N

Sync_binlog的默认值是0，这种模式下，MySQL不会同步到磁盘中去。这样的话，Mysql依赖操作系统来刷新二进制日志binary log，就像操作系统刷新其他文件的机制一样。因此如果操作系统或机器（不仅仅是Mysql服务器）崩溃，有可能binlog中最后的语句丢失了。要想防止这种情况，可以使用sync_binlog全局变量，使binlog在每Ｎ次binlog 写入后与硬盘同步。当sync_binlog变量设置为１是最安全的，因为在crash崩溃的情况下，你的二进制日志binary log只有可能丢失最多一个语句或者一个事务。但是，这也是最慢的一种方式（除非磁盘有使用带蓄电池后备电源的缓存cache,使得同步到磁盘的操作非常快）。

即使sync_binlog设置为１，出现崩溃时，也有可能表内容和binlog内容之间存在不一致性。如果使用InnoDB表，Mysql服务器处理COMMIT语句，它将整个事务写入binlog并将事务提交到InnoDB中。如果在两次操作之间出现崩溃，重启时，事务被InnoDB回滚，但仍然存在binlog中。可以用-innodb-safe-binlog选项来增加InnoDB表内容和binlog之间的一致性。（注释：在Mysql 5.1版本中不需要-innodb-safe-binlog；由于引入了XA事务支持，该选项作废了），该选项可以提供更大程度的安全，使每个事务的binlog(sync_binlog=1)和（默认情况为真）InnoDB日志与硬盘同步，该选项的效果是崩溃后重启时，在滚回事务后，Mysql服务器从binlog剪切回滚的InnoDB事务。这样可以确保binlog反馈InnoDB表的确切数据等，并使从服务器保持与主服务器保持同步（不接收回滚的语句）。

 

Auto_increment_offset和Auto_increment_increment

Auto_increment_increment和auto_increment_offset用于主－主服务器（master-to-master）复制，并可以用来控制AUTO_INCREMENT列的操作。两个变量均可以设置为全局或局部变量，并且假定每个值都可以为1到65,535之间的整数值。将其中一个变量设置为0会使该变量为1。

这两个变量影响AUTO_INCREMENT列的方式：auto_increment_increment控制列中的值的增量值，auto_increment_offset确定AUTO_INCREMENT列值的起点。

如果auto_increment_offset的值大于auto_increment_increment的值，则auto_increment_offset的值被忽略。例如：表内已有一些数据，就会用现在已有的最大自增值做为初始值。

5、设置双机半同步功能

 

5.1简介

Mysql5.5以后新增了半同步复制功能。在使用replication时，主服务器把要提交的事物至少传给了一个备库。增加了主库和从库之间事物的一致性。MHA配合半同步复制效果更佳。虽然启用半同步复制会降低一些性能。但为保持整个系统的正常运行还是值得的。

 

5.2设置主库

（1）拷贝安装模块

cp /usr/local/mysql/lib/plugin/*.so /usr/local/mysql/lib/mysql/plugin/

不拷贝的话默认找不到模块文件。

 

（2）安装半同步模块

mysql> install plugin rpl_semi_sync_master soname'semisync_master.so';

mysql> set global rpl_semi_sync_master_enabled=1;

mysql> set global rpl_semi_sync_master_timeout=1000;

 

（3）可以show一下验证是否打开了semisync功能。

mysql> show global status like 'rpl%';

 

（4）为了让mysql在重启时自动加载该功能，在/etc/my.cnf中加入：

rpl_semi_sync_master_enabled=1

rpl_semi_sync_master_timeout=1000

1000为1000ms的超时时间。

 

5.3 设置从库：

mysql> install plugin rpl_semi_sync_master soname'semisync_master.so';

mysql> set global rpl_semi_sync_master_enabled=1;

mysql> set global rpl_semi_sync_master_timeout=1000;

mysql> install plugin rpl_semi_sync_slave soname'semisync_slave.so';

mysql> set global rpl_semi_sync_slave_enabled=1;

在/etc/my.cnf中加入：

rpl_semi_sync_master_enabled=1

rpl_semi_sync_master_timeout=1000

rpl_semi_sync_slave_enabled=1

 

 

5.4 查看半同步状态：

 

可在主库上再次验证半同步复制是否正常开启，并监听到客户端。

Mysql>show global status like “rpl%”;

可以看到Rpl_semi_sync_master_clients 是1.说明半同步复制正常。

 

6、安装MHAmanager和MHA node

 

6.1简介

mysql-master-ha：mysql master高可用性管理工具

MHA自动化主服务器故障转移，快速将从服务器晋级为主服务器(通常在10-30s)，而不影响复制的一致性，不需要花钱买更多的新服务器，不会有性能损耗，容易安装，不必更改现有的部署环境，适用于任何存储引擎。。

MHA分管理节点和数据库节点，数据库节点由mysql主从或者主主从构成，当主库挂掉后，管理节点会自动将从节点提升为主节点；管理节点的角色类似于 oracle数据库中的fast start failover中的observer，但mha上层可以通过keepalive部署VIP，程序连接数据库使用VIP，从而实现后台数据库的故障切换透明化

 

MHA所需条件

（1）SSH公钥验证

（2）MHA目前只支持Linux系统

（3）MHA支持mysql5.0或以上版本

（4）候选主服务器log-bin必须开启

（5）候选主服务器上的复制用户必须存在

 

6.2部署结构

在主服务器59.151.15.36上安装node节点

在从服务器218.206.70.146上安装manager、node节点，从服务器作为监听控制节点，一旦主服务宕机，就控制服务切换到从服务器。

 

  

6.3安装第三方yum源

有些perl依赖包原生的yum不一定能找到，所以下载epel的rpm包，安装即可。epel源的包比较全，MHA依赖的perl包都能直接用yum安装。

rpm -ivh http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-6.noarch.rpm

 

6.4安装步骤

（1）在从服务器218.206.70.146安装依赖包

# yum install perl-DBD-MySQL

# yum install perl-Config-Tiny

# yum install perl-Log-Dispatch

# yum install perl-Parallel-ForkManager

# yum install perl-Config-IniFiles

 

（2）安装mha-node

# tar zxvf mha4mysql-node-0.53.tar.gz

# cd mha4mysql-node-0.53

# perl Makefile.PL;make;make install

 

（3）安装mha-manager

# tar zxvf mha4mysql-manager-0.53.tar.gz

# cd mha4mysql-manager-0.53

# perl Makefile.PL ;make;make install

 

（4）在主服务器59.151.15.36上安装perl-DBD-MySQL和mha-node即可。

 

 

6.5配置manager

拷贝样例文件到/usr/local/bin下

[root@manager mha4mysql-manager-0.53]# cp samples/scripts/*/usr/local/bin/

注意其中的master_ip_failover是不能直接使用的，需要进行修改。

 

编辑主配置文件：

(1)建立配置文件目录

# mkdir /etc/masterha

 

（2）建立app1目录

# mkdir -p /masterha/app1

 

（3）复制配置文件到masterha中

# cp samples/conf/* /etc/masterha/ 

 

(4)编辑配置文件app1.cnf

# vim /etc/masterha/app1.cnf

[server default]

manager_workdir=/etc/masterha/app1    //app1目录

manager_log=/etc/masterha/app1/manager.log    //管理日志

#remote_workdir=/usr/local/mysql

 

user=root         //mysql的管理用户名

password=123456   //mysql的管理员密码

ssh_user=root     //使用root账号ssh登录

repl_user=repl    //mysql复制账号

repl_password=repl //mysql复制账号密码

ping_interval=1    //ping间隔，这里设置一次ping不通即failover

shutdown_script="" //强制关机脚本，这里设为空

 

master_ip_failover_script=/usr/local/bin/master_ip_failover  //主从故障切换脚本

 

master_ip_online_change_script=/usr/local/bin/master_ip_online_change_script

//ip漂移脚本，配合vip使用

 

report_script=""    //报告脚本，这里设为空

 

[server1]

hostname=59.151.15.36                     //主服务器ip

master_binlog_dir=/data/mysql             //主服务器binlog目录

candidate_master=1                        /主服务器数

 

[server2]

hostname=218.206.70.146                    //备服务器ip

master_binlog_dir=/data/mysql            //备服务器binlog目录

candidate_master=1                       //备服务器数

 

 

到这里基本上监控机的安装配置算是完成了。

 

 

6.6设置远程访问mysql权限

 

（1）Mysql节点的配置：

主节点59.151.15.36

mysql> grant all on *.* to root@218.206.70.146 identified by'123456';

mysql> grant all on *.* to root@59.151.15.36 identified by'123456';

 

（2）备选主机点（从节点）

mysql> grant all on *.* to root@218.206.70.146 identified by'123456';

mysql> grant all on *.* to root@59.151.15.36  identified by '123456';

 

 

6.7建立ssh无密码登录环境

 

在主机点59.151.15.36上

（1）建立ssh密钥公钥

# ssh-keygen -t rsa

 

（2）进入ssh文件夹

# cd /root/.ssh

 

（3）把公钥命名为认证

# cp id_rsa.pub id_rsa.pub authorized_keys

 

（4）把私钥传给备服务器

# scp id_rsa root@218.206.70.146:root/.ssh/id_rsa

 

（5）把公钥传给备服务器

# scp authorized_keys root@218.206.70.146:root/.ssh/authorized_keys

 

 

6.8测试运行

[root@manager ~]# masterha_check_ssh --conf=/etc/app1.cnf

检查ssh登录是否完全正确

[root@manager ~]# masterha_check_repl --conf=/etc/app1.cnf

检查复制情况是否完全正确。

 

都无误后可以启动manager

[root@manager ~]# nohup masterha_manager --conf=/etc/app1.cnf< /dev/null > /masterha/app1/manager.log 2>&1 &