Mysql主从复制与读写分离闲谈
来源：互联网 发布：各层网络协议 编辑：程序博客网 时间：2024/06/06 05:03
Amoeba搞定mysql主从读写分离
最近论坛的mysql服务器的负载越来越高索性从阿里云购买了几台云服务器打算给mysql做一个集群负载均衡，首先考虑到的就是mysql的主从读写分离了前言：一直想找一个工具，能很好的实现mysql主从的读写分离架构，曾经试用过mysql-proxy发现lua用起来很不爽，尤其是不懂lua脚本，突然发现了Amoeba这个项目，试用了下，感觉还不错，写出文档，希望对大家有帮助！
一、Amoeba是什么
Amoeba(变形虫)项目，专注分布式数据库 proxy 开发。座落与Client、DB Server(s)
之间。对客户端透明。具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的query到目标数据库、可并发请求多台数据库合并结果。
主要解决：
•降低 数据切分带来的复杂多数据库结构
•提供切分规则并降低 数据切分规则 给应用带来的影响
•降低db 与客户端的连接数
•读写分离
二、为什么要用Amoeba
目前要实现mysql的主从读写分离，主要有以下几种方案：
1、通过程序实现，网上很多现成的代码，比较复杂，如果添加从服务器要更改多台服务器的代码。
2、通过mysql-proxy来实现，由于mysql-proxy的主从读写分离是通过lua脚本来实现，目前lua的脚本的开发跟不上节奏，而写没有完美的现成的脚本，因此导致用于生产环境的话风险比较大，据网上很多人说mysql-proxy的性能不高。
3、自己开发接口实现，这种方案门槛高，开发成本高，不是一般的小公司能承担得起。
4、利用阿里巴巴的开源项目Amoeba来实现，具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的query到目标数据库，并且安装配置非常简单。国产的开源软件，应该支持，目前正在使用，不发表太多结论，一切等测试完再发表结论吧，哈哈！
三、快速架设amoeba，实现mysql主从读写分离
假设amoeba的前提条件：
n Java SE 1.5 或以上 Amoeba 框架是基于JDK1.5开发的，采用了JDK1.5的特性。
n 支持Mysql 协议版本10（mysql 4.1以后的版本）。
n 您的网络环境至少运行有一个mysql 4.1以上的服务
1、首先介绍下我的实验环境。
System：
CentOS release 5.4
Mastermysql：192.168.1.121
Slavemysql：192.168.1.108
Amoebaserver：192.168.1.159
架构如如下所示：
我这里只用了一个从数据库！
2、安装配置mysql主从环境，mysql的安装省略，请自行编译或者用rpm安装
###在master mysql创建同步用户
grant replication slave,file on *.* to 'replication'@'192.168.1.108'identified by '123456';
flush privileges;
####修改master的my.cnf的配置
log-bin=mysql-bin #打开mysql二进制日志
server-id = 1 #设置mysql_id，主从不能相同
binlog-do-db=test #设置二进制日志记录的库
binlog-ignore-db=mysql ##设置二进制日志不记录的库
sync_binlog=1
####修改slave的my.cnf的配置
log-bin=mysql-bin
server-id = 2
replicate-do-db=test #设置同步的库
replicate-ignore-db=mysql #设置不同步的库
log-slave-updates #同步后记录二进制日志
slave-skip-errors=all
sync_binlog=1
slave-net-timeout=60
分别重启主从mysqld服务，登录主mysql，在主上执行flush tables with read lock;后将test数据库的数据copy到从上，并记录下主上showmaster status\G的结果：
如：
mysql>show master status\G;
***************************1. row ***************************
File: mysql-bin.000022
Position: 1237
Binlog_Do_DB:test
Binlog_Ignore_DB: mysql
然后执行unlock tables
登录从mysql，在从上执行：
stopslave;
changemaster to master_host='192.168.1.121',master_user='replication',master_password='123456',master_log_file='mysql-bin.000022',master_log_pos=1237;
startslave；
show slavestatus\G;
如果出现下面的情况，说明主从同步已经成功！
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
3、安装JDK环境
下载jdk1.5或者更新版本,地址 http://java.sun.com/javase/downloads/index.jsp
我用的是：jdk-6u20-linux-i586-rpm.bin
在Amoeba server上执行
chmod +x jdk-6u20-linux-i586-rpm.bin
./ jdk-6u20-linux-i586-rpm.bin
##然后按n次空格键，然后输入yes就可以了！^_ ^
ln -s /usr/java/jdk1.6.0_20//usr/java/jdk1.6
vi /etc/profile
#添加如下两行内容
export JAVA_HOME=/usr/java/jdk1.6
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
#执行下面的命令使更改的内容生效
source /etc/profile
4、
安装amoeba-mysql
下载amoeba-mysql，目前最新版本为amoeba-mysql-1.3.1-BETA.zip
mkdir /usr/local/amoeba/
wget http://sourceforge.net/projects/amoeba/files/latest
unzip amoeba-mysql-1.3.1-BETA.zip
配置文件位于conf目录下，执行文件位于bin目录下,解压后发现bin目录下的启动文件没有可执行权限，请执行：chmod -R +x /usr/local/amoeba/bin/
Amoeba For MySQL 的使用非常简单，所有的配置文件都是标准的XML 文件，总共有四个配置文件。分别为：
◆ amoeba.xml：主配置文件，配置所有数据源以及Amoeba 自身的参数设置；实现主从的话配置这个文件就可以了；
◆ rule.xml：配置所有Query 路由规则的信息；
◆ functionMap.xml：配置用于解析Query 中的函数所对应的Java 实现类；
◆ rullFunctionMap.xml：配置路由规则中需要使用到的特定函数的实现类；
下面我们就来通过更改amoeba.xml配置文件实现mysql主从读写分离，我的配置如下：
在Master/Slave结构下的读写分离
首先说明一下amoeba 跟 MySQL proxy在读写分离的使用上面的区别：
在MySQL proxy 6.0版本 上面如果想要读写分离并且 读集群、写集群 机器比较多情况下，用mysql proxy 需要相当大的工作量，目前mysql proxy没有现成的 lua脚本。mysql proxy根本没有配置文件， lua脚本就是它的全部，当然lua是相当方便的。那么同样这种东西需要编写大量的脚本才能完成一 个复杂的配置。而Amoeba只需要进行相关的配置就可以满足需求。
假设有这样的使用场景，有三个数据库节点分别命名为Master、Slave1、Slave2如下：
Master： Master （可读写）
Slaves：Slave1、Slave2 （2个平等的数据库。只读/负载均衡）
针对这样的使用方式，首先在dbServers.xml中将Slave1和Slave2配置在一个虚拟的dbServer节点中，使他们组成一个数据库池。
Example 4.3. 数据库池在dbServers.xml的定义与配置
<?xml version="1.0" encoding="gbk"?><!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd"><amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">... <dbServer name="Master" parent="abstractServer"><factoryConfig> <!-- mysql ip --> <property name="ipAddress">192.168.0.1</property> </factoryConfig> </dbServer> <dbServer name="Slave1" parent="abstractServer">
<factoryConfig> <!-- mysql ip --> <property name="ipAddress">192.168.0.2</property> </factoryConfig> </dbServer> <dbServer name="Slave2" parent="abstractServer">
<factoryConfig> <!-- mysql ip --> <property name="ipAddress">192.168.0.3</property> </factoryConfig> </dbServer> <dbServer name="virtualSlave" virtual="true">
<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool"> <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA--> <property name="loadbalance">1</property>
<!-- Separated by commas,such as: server1,server2,server1 --> <property name="poolNames">Slave1,Slave2</property>
</poolConfig> </dbServer>...</amoeba:dbServers>
定义了Master节点，parent为abstractServer，关于abstractServer的定义方式参照第三章。
定义了Slave1和Slave2节点。
定义了virtualSlave的虚拟节点，这是由Slave1和Slave2组成的一个数据库池。
loadbalance元素设置了loadbalance策略的选项，这里选择第一个“ROUNDROBIN”轮询策略，该配置提供负载均衡、failOver、故障恢复功能。
poolNames定义了其中的数据库节点配置（当然也可以是虚拟的节点）。此外对于轮询策略，poolNames还定义了其轮询规则，比如设置成“Slave1,Slave1,Slave2”那么Amoeba将会以两次Slave1，一次Slave2的顺序循环对这些数据库节点转发请求。
如果不需要配置规则那么可以不使用rule.xml而直接配置amoeba.xml中的queryRouter，配置如下：
Example 4.4. 配置amoeba.xml不使用切分功能直接配置queryRouter以读写分离
<?xml version="1.0" encoding="gbk"?><!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd"><amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">...<queryRouter class=”com.meidusa.amoeba.mysql.parser.MysqlQueryRouter”> <property name="LRUMapSize">1500</property>
LRUMapSize属性定义了Amoeba缓存的SQL语句解析的条数。
defaultPool配置了默认的数据库节点，一些除了SELECT\UPDATE\INSERT\DELETE的语句都会在defaultPool执行。
writePool配置了数据库写库，通常配为Master，如这里就配置为之前定义的Master数据库。
readPool配置了数据库读库，通常配为Slave或者Slave组成的数据库池，如这里就配置之前的virtualSlave数据库池。
当同时需要配置切分规则以及读写分离时，这里以本章节的“基于Amoeba的数据水平切分”小节的场景与本小节的场景合并可以使用这样的配置方法：
Example 4.5. 通过使用isReadStatement在rule.xml配置中指定读库和写库
<?xml version="1.0" encoding="gbk"?><!DOCTYPE amoeba:rule SYSTEM "rule.dtd"><amoeba:rule xmlns:amoeba="http://amoeba.meidusa.com/">... <tableRule name="MESSAGE" schema="test" defaultPools="blogdb-1-write,blogdb-2-write"> <rule name="rule1" ruleResult="POOLNAME">
这里的规则配置设置ruleResult为“POOLNAME”这意味着操作的数据库节点名称是由expression的返回结果得到的。
这里使用了isReadStatement来确定操作语句是读语句还是写语句，在这个例子中，读语句会路由到blogdb-1-read数据库节点，而写语句会路由到blogdb-1-write数据库节点。这里blogdb-1-read等几个数据库节点都必须在dbServers.xml中配置。
启动amoeba
/usr/local/amoeba/bin/amoeba&
检验启动是否成功（使用的是默认的8066端口）：
[root@Centos2 amoeba]# ps aux | grep amoebaroot 24580 0.2 19.2 408912 49264 pts/1 Sl 12:52 0:11 /usr/java/jdk1.6/bin/java -server -Xms256m -Xmx256m -Xss128k -Damoeba.home=/usr/local/amoeba -Dclassworlds.conf=/usr/local/amoeba/bin/amoeba.classworlds -classpath /usr/local/amoeba/lib/classworlds-1.0.jar org.codehaus.classworlds.Launcher
[root@Centos2 amoeba]# netstat -lnp | grep java
tcp 0 0 ::ffff:192.168.1.159:8066 :::* LISTEN 24580/java
5、
测试
测试之前先要保证amoeba-server有访问两个主从服务器test库的权限,在主从mysql上都执行：
grant all on test.* to zhang@'192.168.1.%' identified by 'zhang123';
#用户名密码要和前面配置的意志
flush privileges;
测试的时候和我们平时使用一样，amoeba-mysql对我们应用透明，就是个mysql的代理了！
登录mysql使用如下命令（用户名密码和上面配置的要一致）：
mysql -uroot -ppassword -h192.168.1.159 -P8066
登录上去后，为了测试读和写必须，先把mysql的主从复制停掉，才能更清楚地看出读写的服务器是哪台，在从上使用stopslave;登录到amoeba-mysql上，使用命令mysql -uroot -ppassword-h192.168.1.159 -P8066，然后执行写和读操作，查看写的是哪台服务器，读的是哪台服务器，实验结果显示：写只在主上进行，读在主和从都进行，比率是1:1
测试步骤：
还没有停掉从同步之前，创建一个表：
create table zhang (id int(10) ,name varchar(10),addressvarchar(20));
在从上执行stop slave;
然后在主从上各插入一条不同数据（供测试读的时候用），
在主上插入：insert into zhangvalues('1','zhang','this_is_master');
在从上插入：insert into zhang values('2','zhang','this_is_slave');
接下来通过登录amoeba-mysql上来测试读写：
[root@Centos2 ~]# mysql -uroot -ppassword -h192.168.1.159 -P8066Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 14556042
Server version: 5.1.45-mysql-amoeba-proxy-1.3.1-BETA Source distribution
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
mysql> use test;
Database changed
mysql> select * from zhang; ###第一次执行显示在主上读取的数据！
+------+-------+----------------+
| id | name | address |
+------+-------+----------------+
| 1 | zhang | this_is_master |
+------+-------+----------------+
1 row in set (0.02 sec)
mysql> select * from zhang; ####第二次执行select语句显示是在从上读取的数据
+------+-------+---------------+
| id | name | address |
+------+-------+---------------+
| 2 | zhang | this_is_slave |
+------+-------+---------------+
1 row in set (0.02 sec)
mysql> insert into zhang values('3','hhh','test_write'); ###插入一条数据，然后查询
Query OK, 1 row affected (0.01 sec)
mysql> select * from zhang; ###我们可以看到插入的数据被添加到了主上！
+------+-------+----------------+ ####可以多插入几次数据看看是否会出现错误！
| id | name | address |
+------+-------+----------------+
| 1 | zhang | this_is_master |
| 3 | hhh | test_write |
+------+-------+----------------+
mysql> select * from zhang; ###从上还是没有插入，因为执行了stop slave；
+------+-------+---------------+
| id | name | address |
+------+-------+---------------+
| 2 | zhang | this_is_slave |
+------+-------+---------------+
6、
简单主从权重配置
大家可能会想到，我们加入只有两台数据库服务器，一台主，一台从，按照上面的配置只能是主和从的读取比率是1:1,而写又全部在主上进行，这样主的压力就很大了，所以如果能让主和从的读设置权重，比如设置成1:3,这样就可以很好的解决主从不压力均衡的问题！通过研究确实可以！
配置就是将上面的读的池的配置更改一下：
将<propertyname="poolNames">server1,server2</property>更改成
<propertyname="poolNames">server1,server2,server2,server2</property>
我测试的结果刚好为1:3,如下：
+------+-------+----------------+
| id | name | address |
+------+-------+----------------+
| 1 | zhang | this_is_master |
| 3 | hhh | test_write |
+------+-------+----------------+
2 rows in set (0.01 sec)
mysql> select * from zhang;
+------+-------+---------------+
| id | name | address |
+------+-------+---------------+
| 2 | zhang | this_is_slave |
+------+-------+---------------+
1 row in set (0.04 sec)
mysql> select * from zhang;
+------+-------+---------------+
| id | name | address |
+------+-------+---------------+
| 2 | zhang | this_is_slave |
+------+-------+---------------+
1 row in set (0.01 sec)
mysql> select * from zhang;
+------+-------+---------------+
| id | name | address |
+------+-------+---------------+
| 2 | zhang | this_is_slave |
+------+-------+---------------+
- Mysql主从复制与读写分离闲谈
- MySQL主从复制与读写分离
- MySQL主从复制与读写分离
- MySQL主从复制与读写分离
- MySQL主从复制与读写分离
- MySQL主从复制与读写分离
- MySQL主从复制与读写分离
- MySQL 主从复制与读写分离
- MySQL主从复制与读写分离
- MySQL主从复制与读写分离
- MySQL主从复制与读写分离
- MySQL主从复制与读写分离
- MySQL主从复制与读写分离
- MySQL主从复制与读写分离
- MySQL主从复制与读写分离
- MySQL主从复制与读写分离
- MySQL主从复制与读写分离
- MySQL主从复制与读写分离
- MySQL语法大全
- jdk jre jvm三者之间的联系与区别
- Friendly ARM开发板安装Linux系统教程
- 进制转换，16到10，10进制到12进制_华为SO挑战赛试题2015年8月
- 优秀项目经理应备技能08-项目管理的技能
- Mysql主从复制与读写分离闲谈
- Handle 消息传递机制知识点汇总
- Python--生成器
- LEETCODE-Add Binary
- Windows支持的4种类型的同步对象：临界区、互斥量、事件和信号量
- A1 = ? HDU 杭电2086 【数学】
- Mac下git的安装与配置
- 软件测试学习随记
- Cglib 与 JDK动态代理的运行性能比较
