mycat是什么鬼?垂直切分?水平切分?
来源:互联网 发布:卡洛斯实况巅峰数据 编辑:程序博客网 时间:2024/04/30 12:18
mycat是什么鬼
mycat是国人开发的一款开源的数据库中间件,他的作用就是伪装成一个真的数据库,然后在它背后,连的是多种类型,集群分布式的真实数据库。他的体系结构就像下面:
需要理解mycat的几个概念。
schema:逻辑库,与MySQL中的Database(数据库)对应,一个逻辑库中定义了所包括的Table。
table:表,即物理数据库中存储的某一张表,与传统数据库不同,这里的表格需要声明其所存储的逻辑数据节点DataNode,这是通过表格的分片规则定义来实现的,table可以定义其所属的“子表(childTable)”,子表的分片依赖于与“父表”的具体分片地址,简单的说,就是属于父表里某一条记录A的子表的所有记录都与A存储在同一个分片上。
分片规则:是一个字段与函数的捆绑定义,根据这个字段的取值来返回所在存储的分片(DataNode)的序号,每个表格可以定义一个分片规则,分片规则可以灵活扩展,默认提供了基于数字的分片规则,字符串的分片规则等。
dataNode: MyCAT的逻辑数据节点,是存放table的具体物理节点,也称之为分片节点,通过DataSource来关联到后端某个具体数据库上,一般来说,为了高可用性,每个DataNode都设置两个DataSource,一主一从,当主节点宕机,系统自动切换到从节点。
dataHost:定义某个物理库的访问地址,用于捆绑到dataNode上。
MyCAT目前通过配置文件的方式来定义逻辑库和相关配置:
MYCAT_HOME/conf/schema.xml中定义逻辑库,表、分片节点等内容;
MYCAT_HOME/conf/rule.xml中定义分片规则;
MYCAT_HOME/conf/server.xml中定义用户以及系统相关变量,如端口等。
说了那么多,或许你看看下面的图就明白了:
mycat的好处就是你可以使用他就像使用真的mysq数据库一样,jdbc该怎么连,命令行该怎么敲就怎么敲,sql语句该怎么写就怎么写,它的出现让你的业务代码持久层不用动,而背后,却能帮搭建起mysql的分表,分库,读写分离,集群分布式。
下面就简单使用mycat来帮助我们将业务数据表进行垂直切分和水平切分
垂直切分搭建
垂直切分其实就是根据业务的不同,将不同业务的表放到不同的数据库中,例如我们订单表,用户表,用户评论表,因为他们业务的不同,可以将他们分别放到三个数据库中。好,那我们就使用三个数据库,分别安装三张表,使用mysql架构如下:
1、修改MYCAT_HOME/conf/schema.xml,内容如下:
<?xml version="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schema xmlns:mycat="http://org.opencloudb/"> <!-- schema逻辑数据库 --> <schema name="mycat1" checkSQLschema="false" sqlMaxLimit="100" dataNode="mycat1" /> <schema name="mycat2" checkSQLschema="false" sqlMaxLimit="100" dataNode="mycat2" /> <schema name="mycat3" checkSQLschema="false" sqlMaxLimit="100" dataNode="mycat3" /> <!--使用dataNode将实际数据库和逻辑数据库映射--> <dataNode name="mycat1" dataHost="mycat" database="mycat1" /> <dataNode name="mycat2" dataHost="mycat" database="mycat2" /> <dataNode name="mycat3" dataHost="mycat" database="mycat3" /> <dataHost name="mycat" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user()</heartbeat> <!--写上数据库链接信息--> <writeHost host="hostM1" url="192.168.137.101:3306" user="root" password="123" /> <writeHost host="hostM2" url="192.168.137.102:3306" user="root" password="123" /> <writeHost host="hostM3" url="192.168.137.103:3306" user="root" password="123" /> </dataHost></mycat:schema>
2、修改MYCAT_HOME/conf/server.xml,添加链接mycat的帐号信息等
<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE mycat:server SYSTEM "server.dtd"><mycat:server xmlns:mycat="http://org.opencloudb/"> <system> <property name="defaultSqlParser">druidparser</property> </system> <!--帐号密码以及所链接的逻辑库--> <user name="test"> <property name="password">test</property> <property name="schemas">mycat1,mycat2,mycat3</property> </user> <!--只读的用户信息--> <user name="user"> <property name="password">user</property> <property name="schemas">mycat1,mycat2,mycat3</property> <property name="readOnly">true</property> </user></mycat:server>
3、那么你可以用mysql的客户端,或者直接命令行的方式进入mysql客户端,查看数据库。
可以看到mycat把三个数据库的内容都包含进来了,完成的垂直切分。
数据库水平切分
除了可以按照业务将数据表分配到不同的的数据库中做成垂直切分,很多时候,用户量大的时候,例如一张用户表有上亿条数据,那么一次性查数据肯定很慢,那么我们可以这样子,将这张表按照某种规则将数据存放到不同的数据库中,例如可以按照用户省份的不同,将数据切分到广东省,北京市,上海市等数据库中。下面假如我们有一张student表,因为数据量太多,就按照id的取余规则,将数据分别存放到俩个数据库中,架构如下:
下面这么配置:
1、修改MYCAT_HOME/conf/schema.xml,内容如下:
<?xml version="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schema xmlns:mycat="http://org.opencloudb/"> <!-- tb_class和tb_student有外键关联关系,可以测试join --> <schema name="test" checkSQLschema="false" sqlMaxLimit="100"> <table name="tb_class" dataNode="dn1,dn2" rule="rule1" primaryKey="id"/> <table name="tb_student" dataNode="dn1,dn2" rule="rule1" primaryKey="id"/> </schema> <dataNode name="dn1" dataHost="mycat101" database="mycat101" /> <dataNode name="dn2" dataHost="mycat103" database="mycat103" /> <dataHost name="mycat101" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user()</heartbeat> <writeHost host="host1" url="192.168.137.101:3306" user="root" password="123" /> </dataHost> <dataHost name="mycat103" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user()</heartbeat> <writeHost host="host3" url="192.168.137.103:3306" user="root" password="123" /> </dataHost></mycat:schema>
2、修改MYCAT_HOME/conf/server.xml,添加链接mycat的帐号信息等
<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE mycat:server SYSTEM "server.dtd"><mycat:server xmlns:mycat="http://org.opencloudb/"> <system> <property name="defaultSqlParser">druidparser</property> </system> <!--帐号密码以及所链接的逻辑库--> <user name="test"> <property name="password">test</property> <property name="schemas">test</property> </user> <!--只读的用户信息--> <user name="user"> <property name="password">user</property> <property name="schemas">test</property> <property name="readOnly">true</property> </user></mycat:server>
3、定义切片规则,修改MYCAT_HOME/conf/rule.xml,这里是安装id进行切片
<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE mycat:rule SYSTEM "rule.dtd"><mycat:rule xmlns:mycat="http://org.opencloudb/"> <tableRule name="rule1"> <!--安装id规则,将id除于1024然后取余,如果余数落在0~512就将数据写到第一个数据库,如果是在512~1024就放到第二个数据库--> <rule> <columns>id</columns> <algorithm>func1</algorithm> </rule> </tableRule> <!--分成俩片,每片的区间是512,必须要俩个相乘是1024--> <function name="func1" class="org.opencloudb.route.function.PartitionByLong"> <property name="partitionCount">2</property> <property name="partitionLength">512</property> </function></mycat:rule>
4、进行测试,先看看,mycat数据库表现是怎样?
test就是我们的逻辑库,tb_class和tb_student就是我们的表,插入一条数据到tb_class中,id为1,1在0~512之间,应该插到第一个数据库中,
然后再插一条数据为id为513的,那么应该在第二个数据库中。
然后在mycat表现的就是一张表,你可以随便增删改查。
到此就把垂直切分和水平切分给完成了
- mycat是什么鬼?垂直切分?水平切分?
- mycat 垂直切分和水平切分配置示例
- 水平切分与垂直切分
- mycat水平切分
- Mycat之——读写分离+垂直切分+水平切分+er分片+全局表 测试
- 数据库的垂直切分和水平切分
- 数据库的垂直切分和水平切分
- 数据库的垂直切分和水平切分
- 数据库的垂直切分和水平切分
- 数据库的垂直切分和水平切分
- 数据库的垂直切分和水平切分
- 数据库的垂直切分和水平切分
- MySQL垂直和水平切分
- 数据库垂直和水平切分
- MySQL垂直和水平切分
- MySQL垂直和水平切分
- 数据库垂直和水平切分
- 数据库的水平切分和垂直切分概念
- 【bzoj4568】【SCOI2016】【幸运数字】【树上倍增+线性基】
- 豆瓣最受欢迎的影评爬虫(第一个爬虫撒花!)
- 168. Excel Sheet Column Title
- Unity3D:Compate Shader
- bootstrap的日期选择器插件
- mycat是什么鬼?垂直切分?水平切分?
- centos安装Samba服务器
- Android开发用过的十大框架
- MIT Introduction to Algorithms Record-8
- 物流营销服务
- 重定向NSLog
- 函数柯里化
- "二叉树"-实现数据结构算法,完全解析,通俗易懂的图文及代码讲解
- powershell复制目录结构和删除空目录