数据库中间件cobar调研笔记

转自:https://mp.weixin.qq.com/s/nfTKSTpCvNcvNFAdl2J7mQ    58沈剑 架构师之路

13年底负责数据库中间件设计时的调研笔记，拿出来和大家分享，轻拍。文章很长，可提前收藏，转发。

一，cobar是什么

• 阿里开源的mysql的中间件服务

• 使用mysql协议

• 对上游，cobar就是传统mysql数据库

• 对上游，它屏蔽后端分布式mysql集群

画外音：数据库中间件有基于服务端的，也有基于客户端的，cobar属于前者。

二，cobar应用场景举例

逻辑上：

• 数据库dbtest（虚拟的）

• 表tb1和tb2

物理上：

• tb1表的数据在dbtest1（物理的）的tb1上

• tb2表的一部分数据在dbtest2（物理的）的tb2上，另外一部分在dbtest3（物理的）的tb2上

三，cobar使用方式

命令行：连dbtest虚拟库

JDBC：也是连dbtest虚拟库

查看db：

查看table：

插入一些数据，对用户而言，后端的分布式mysql是透明的：

• 对tb1，数据实际上存在dbtest1的tb1中

• 对tb2，数据实际上存储在dbtest2和dbtest3的tb2中

画外音：从其官网上看，自12年12月之后，cobar就没有再更新过，官方微博也非常不活跃，不清楚现在它在阿里的使用情况，知道的同学请说一说。

 

四，cobar不支持什么

• 不支持夸库join，分页，排序，子查询

• set语句会被忽略（事务和字符集设置除外）

• 如果分库，insert必须包含patition key（否则麻烦大了）

• 如果分库，patition key不能被update

• 不支持读写分离

• 不支持存储过程

• 如果使用JDBC，rewriteBatchedStatements，useServerPrepStmts，BLOB, BINARY, VARBINARY字段不能使用setBlob()或setBinaryStream()

 

五，cobar支持什么

分布式数据库：通过分库实现

• 支持一张表放到不同的库

• 支持不同的表放入不同的库

需要注意：不支持将test拆分成test_1，test_2，test_3并放入同一个库中这样的拆分方式。

画外音：后者正是360的atals的做法（atlas只支持单实例单库分表）。

 

HA：通过到mysql的心跳实现

• 主机挂了会自动切换回备机，但主机恢复，需要手动切回

• 只检测主备异常，不关心主备数据同步（需要dba手动配）

画外音：需要注意，cobar是需要用户自己来实现负载均衡的，方式有三种：

• 自己使用软件例如LVS

• 自己使用硬件例如F5

• cobar提供了命令获取集群信息，用户可以根据这些信息做负载均衡；当然，淘宝已经实现了一个具有负载均衡功能的cobar客户端产品-cobar.driver

 

SQL路由

在分库的情况下，cobar会从sql中提取partition key列，来判断SQL被路由到哪一个分库进行执行；如果没有带partition key，则会将SQL分发到所有分库执行。

示例

tb1(id INT)

假设以id切分数据，后端分了N个库：

• insert into tb1 values(1);

  => N个库都会执行插入，因为没有带partition key；

• insert into tb1(id) values(1);

  => 只会路由到1个库，带了partition key;

• update tb1 set id=2 where id=1;

  => 不支持，不能修改partition key；

画外音：SQL带上partition key对cobar来说，非常非常重要，并且partition key不支持修改（修改了库就不对了哟）。

 

cobar不允许在同一个连接中切换库。

画外音：数据库连接和库是绑定关系。

不建议通过cobar来执行DDL语句。

画外音：所以建库，建索引什么的，还是直连mysql自己搞吧。

 

COBAR自定义语句

• 查询cobar节点的状态

cobar允许管理员通过管理命令上线和下线cobar节点。

 

• 查询cobar集群的状态

被定义在一个cobar集群中的cobar节点之间都会发送心跳，所谓的心跳就是上面提到的show cobra_status; 这样的话，就为每一个cobar节点提供了知道同一个集群内的所有cobar信息的机会。当然，被下线，或者心跳超时的cobar节点的信息不会被显示出来。

 

• 查询SQL语句的路由情况

SQL语句前加上explain即可知道SQL语句的路由情况。

事务的支持

cobar对单库保持事务的强一致性。

对分库保持事务的弱一致性。

分库后事务提交包含两个阶段：

• 执行阶段：SQL按照规则被路由到多个分库，此时发生错误，还能回滚

• 提交阶段：提交阶段出错，无法正确回滚

两个阶段之间，执行与提交串行处理，阶段内部各个分库并行处理。

画外音：额，基本就是不支持分布式事务。

 

六，cobar系统架构

系统模块图

画外音：从模块图来看，cobar的结构还是挺清晰的：

• 前端对上游的连接池

• 后端对下游mysql的连接池

• 对每一个请求，会经过：

  SQL分析

  SQL路由

  SQL执行

  投递给后端mysql

• 对每一个响应，需要做结果合并

 

数据流图

数据流图和上述模块图对应：

网络模型

采用异步网络模型：

结果合并

会把多个物理库的结果集合并，再返回给上游：

八，cobar路由算法

partition key是int时

好办，直接取模

partition key是string时

f(string) = hash(string) % 1024

假设分4个库：

• 哈希结果0-255 -> 库1

• 哈希结果256-511 -> 库2

• 哈希结果512-767 -> 库3

• 哈希结果768-1024 -> 库4

如何扩容：

• 哈希结果0-255 -> 库1

拆分后：

• 哈希结果0-127 -> 库1.1

• 哈希结果128-255 -> 库1.2

数据非均匀分布路由：

• 哈希结果0-511（513范围） -> 库1

• 哈希结果512-767（256范围） -> 库2

• 哈希结果768-895（128范围） -> 库3

• 哈希结果896-1023（128范围） -> 库4

 

九，cobar对于SQL的转发

带partition key单记录查询

将IN进行拆分，请求发到对应多个分库，然后将结果集合并。

 

不带partition key的where查询

假设partition key是user字段，在product字段上的where查询，会将请求广播到所有分库，然后将结果集合并。

 

二维partition key

一张表的多个字段同时作为定位库的拆分字段，仍以上图的visit(product, user, info)为例，可以以product和user两个字段来同时来定位库。

SELECT * FROM visit WHERE product=‘ColaCola’ AND user=‘A’

对于上述业务需求，同时带有两个列作为查询条件，可以直接定位到库7。

但是，此时如果只有其中的一个字段作为查询条件，反而得查询多个库，再做聚合：

SELECT * FROM visit WHERE product=‘ColaCola’

对于上述业务需求，就必须查询库3，7，11，15了。

画外音：不懂为什么要按照双key来做路由，单key路由，对于双key的查询，也没有增加多少数据扫描量啊，加入双key反而使得某些情况下策略复杂了，带来的收益也不高。

 

小结

对的，对于where，cobar就是这样的处理方式：

• 根据字段的一致性hash分布数据

• 多维拆分

• 根据where中的partition key分发查询

• SQL语句变换，分发至各个分库执行，对结果进行合并

 

十，cobar的高级特性

JOIN有限的处理

如上，两个表都进行了分库，JOIN需求如下：

SELECT * FROM tb1 INNER JOIN tb2

    ON tb1.MEMBER_ID=tb2.NAME

结果集理应如下：

方案一：迭代查询

FOR row1 IN select * FROM tb1{

    ADD(

        SELECT* FROM tb2 WHERE

          tb2.name = row1.member_id

    )TO RESULT

}

画外音：我去，外层循环是对tb1中的所有记录，在tb2来一遍扫描，bt1数据量大的情况下，这哪里受得了？

 

方案二：夸库索引

对于tb1和tb2存在的潜在JOIN需求，对JOIN列建立夸库索引。

• 直接JOIN查询：建立了夸库索引后，对于JOIN的直接查询，就是idx索引表内的数据的合并就是结果

• JOIN后带WHERE条件：

SELECT * FROM tb1 INNER JOIN tb2

ON tb1.MEMBER_ID=tb2.NAME

      WHEREtb1.id=5

此时需要改写SQL语句，直接在索引表上进行查询：

SELECT * FROM idx WHERE id1=5

 

此处需要注意：

• 索引表的partition key：WHERE条件所在表的partition key，作为索引表的partition key

• 索引必须包含参与JOIN相关表的主键，JOIN字段，包含WHERE条件的字段

• 索引的更新：需要分布式事务的支持

GROUP BY的处理

以上表为例，patition key是ID，要在C1上进行GROUP BY操作：

SELECT SUM(price) FROM tb1 GROUP BY c1;

改写SQL语句，先在各个分库上GROUP BY一次，并将sum计算出来：

SELECT SUM(price), c1 FROM tb1 GROUP BY c1 ORDER BY c1;

各分库进行GROUP BY + ORDER BY + sum之后，根据排序后的c1及对应sum结果，归并一遍后即得到最终结果。

 

小结

对于复杂语句，可以这样处理：

• 对于JOIN，可以迭代查询，或者使用分布式索引

• 对于GROUP BY，需要增加查询列，以及ORDER BY

13年底的调研笔记，文中的“画外音”是我当时的批注，希望能让大家对cobar能有一个初步的认识，有疑问之处，欢迎交流。