MySQL 通信协议介绍

来源:互联网 发布:反向代理 nginx 编辑:程序博客网 时间:2024/06/05 20:40

 MySQL 通信协议介绍

 

1、数据类型

了解MySQL协议包之前必需先知道其数据类型

 

 1.1 Integer Types 整数类型

(1)定长整型

固定长度, 小端编码, 有下面几种(括号内的代表所占字节数):

int<1>

int<2>

int<3>

int<4>

int<6>

int<8>

 

(2)变长整型

可能长度为1, 3, 4, 9 个字节, 实际长度取决于数值的大小.记为 int<lenenc>

 

编码过程, 记数值为N:

1.若 N < 251, 则编码为单字节

2.若 251 <= N < 2^16, 则编码为 0xfc + 2-byte integer

3.若 2^16 <= N < 2^24, 则编码为 0xfd + 3-byte integer

4.若 2^24 <= N < 2^64, 则编码为0xfe + 8-byte integer

 

解码过程, 先看第一个字节, 记其值为N1,

1.若 N1 <= 0xfb, 则说明该整数就是N1

2.若 N1 = 0xfc,则说明接下来2字节也是该整数的部分, 取出加上0xfc即为原数值

3.若 N1 = 0xfd, ...

4.若 N1 = 0xfe, ...

 

值得注意的是, 当协议包的第一个字节为0xfe时, 应该检查接下来是否有8个字节, 若没有则说明该协议包可能是EOF_PACKET

 

1.2 String Types 字符串类型

 

(1)FixedLengthString

定长字符串,记为 string<fix>

 

(2)NulTerminatedString

由NUL标识结束的字符串, NUL即0x00,记为string<NUL>

 

(3)VariableLengthString

变长字符串, 长度由别的其它字段决定或者运行时动态计算出来的,记为string<var>

 

(4)LengthEncodedString

长度编码的字符串, 即其前面有个整型int<lenenc>说明接下来的字符串的长度, 起始就是VariableLengthString,记为string<lenenc>

 

(5)RestOfPacketString

若一个字符串是一个协议包的最后一个字段, 那该字符串的长度当然就等于包长 - 当前位置,记为string<EOF>

 

2.MySQL协议包

客户端或服务端要发消息给对方时:

1.把消息分成若干个长度小于 2^24-1(即16 M)的消息

2.给每个消息前面加一个4字节包头.

如下:

TypeNameDescriptionint<3>payload_lengthpayload字段的长度int<1>sequence_id序列号string<var>payloadpayload包体

 

例如CMD_QUIT的整包字节序列为:01 00 00 00 01

 

 

 1.通用响应报文

 

(1) OK_Packet

表示操作成功的报文,5.7开始用该报文替代EOF_Packet

 

 报文格式:

 

判断时OK还是EOF规则:

OK: header = 0 and length of packet > 7

EOF: header = 0xfe and length of packet < 9

 

(2) ERR_Packet

表示操作失败的报文. It contains a SQL state value if CLIENT_PROTOCOL_41 is enabled.

 

报文格式:

 

 (3) EOF_Packet

If CLIENT_PROTOCOL_41 is enabled, the EOF packet contains a warning count and status flags.

 EOF报文用来表示多个报文组成的一个报文簇的结束,比如当客户端发送查询命令到mysql server时,mysql会按顺序回复以下报文:

1.ResultSetHeaderPacket  --报文中携带了查询结果包含的字段的个数N,以及其它一些信息

2.FieldPacket * N -- N个FieldPacket,每一个都表示一个字段的定义

3.EOF Packet -- 表示字段定义的所有报文已发送完毕

4.RowDataPacket * M -- 每个报文表示一行数据

5.EOF Packet -- 表示行数据报文发送完毕。

 

报文格式:


 

EOF_Packet和OK_Packet 都是用来表示一个query的结果的尾包,5.7.5版本EOF_Packet就不在使用了

 

上面的报文中涉及到的statu_flag取值及含义如下:

 

 

 

2.连接建立阶段报文

 

(1) Handshake Packet(Server -> Client)

握手报文,当客户端连接服务端时,当TCP连接建立完成后,Server会主动向Client发送一个握手协议报文,里面携带了Server的相关信息和权能标识,关于权能标识(capabilities flag),具体可以去这里查

 

 

Java代码 
  1. 1              [0a] protocol version -- 协议版本  
  2. string[NUL]    server version -- Server版本  
  3. 4              connection id  
  4. string[8]      auth-plugin-data-part-1  
  5. 1              [00] filler -- 填充,总是0x00  
  6. 2              capability flags (lower 2 bytes) --Server权能标识  
  7.   if more data in the packet:  
  8. 1              character set -- 连接所使用的字符集  
  9. 2              status flags  
  10. 2              capability flags (upper 2 bytes)  
  11.   if capabilities & CLIENT_PLUGIN_AUTH {  
  12. 1              length of auth-plugin-data  
  13.   } else {  
  14. 1              [00]  
  15.   }  
  16. string[10]     reserved (all [00])  
  17.   if capabilities & CLIENT_SECURE_CONNECTION {  
  18. string[$len]   auth-plugin-data-part-2 ($len=MAX(13, length of auth-plugin-data - 8))  
  19.   if capabilities & CLIENT_PLUGIN_AUTH {  
  20. string[NUL]    auth-plugin name  
  21.   }  

 

 

(2)HandShake Response Packet(Client -> Server)

客户端收到Handshake Packet后,生成一个Response并发给Server,里面携带客户端的权能标识,用户名等相关的信息,如果Handshake Packet中的权能标识中带有client_protocol_41标识位,那么客户端将生成的Response为HandShake Response41,否则生成的为HandShake Response320,我们这里就不管HandShake Response320,因为现在的Server基本都会支持这个

 

HandShake Response41格式:

 

Java代码 
  1. 4              capability flags, CLIENT_PROTOCOL_41 always set -- 客户端的权能标识  
  2. 4              max-packet size -- 最大包大小  
  3. 1              character set -- 字符集  
  4. string[23]     reserved (all [0]) -- 保留,总是0  
  5. string[NUL]    username -- 用户名  
  6.   if capabilities & CLIENT_PLUGIN_AUTH_LENENC_CLIENT_DATA { -- 看了mycat的源码才知道,这个其实是密码  
  7. lenenc-int     length of auth-response  
  8. string[n]      auth-response  
  9.   } else if capabilities & CLIENT_SECURE_CONNECTION {  
  10. 1              length of auth-response  
  11. string[n]      auth-response  
  12.   } else {  
  13. string[NUL]    auth-response  
  14.   }  
  15.   if capabilities & CLIENT_CONNECT_WITH_DB { -- 连接默认数据库名  
  16. string[NUL]    database  
  17.   }  
  18.   if capabilities & CLIENT_PLUGIN_AUTH {  
  19. string[NUL]    auth plugin name  
  20.   }  
  21.   if capabilities & CLIENT_CONNECT_ATTRS {  
  22. lenenc-int     length of all key-values  
  23. lenenc-str     key  
  24. lenenc-str     value  
  25.    if-more data in 'length of all key-values', more keys and value pairs  
  26.   }  

 

 

3.普通请求/响应报文

在连接建立后,Client就可以发送普通的查询或者其它命令给Server了,下面对这些命令进行介绍

 

1.COM_SLEEP 请求

这个是Server内部的命令,不是客户端给服务端发的,忽略即可

 

Java代码 
  1. 1              [00] COM_SLEEP  

 

 

 

2.COM_QUIT 请求

当客户端要关闭连接时,发送该命令到Server

 

Java代码 
  1. 1              [01] COM_QUIT  

 

返回:要么是OK Packet,要么就连接关闭

 

3.COM_INIT_DB 请求

修改连接默认的schema

 

Java代码 
  1. 1              [02] COM_INIT_DB  
  2. string[EOF]    schema name -- 数据库名  

 

返回:OK Packet 或者ERR Packet

 

4.COM_QUERY 请求

发送普通查询请求,这个查询是立即执行的,因此预编译不是发这个命令的

 

Java代码 
  1. 1              [03] COM_QUERY  
  2. string[EOF]    the query the server shall execute -- sql语句  

 

返回:COM_QUERY_RESPONSE Packet

 

5.COM_QUERY_PACKET 响应

COM_QUERY的响应报文,该报文只是个逻辑上的报文,其组成为以下几个中的一个:

  • ERR Packet
  • OK Packet
  • ResultSet Packet -- 普通查询结果
  • LOAD DATA INFILE REQUEST Packet

6.ResultSetPacket 响应
普通查询结果,也是一个逻辑上的报文,其由以下部分组成:

1.ResultSetHeaderPacket -- 只包含一个int<lenenc>的整数(记为N,表示结果字段的个数)和一个8字节的extra附加信息

2.ColumnDefinitionPacket * N -- N个ColumnDefinitionPacket ,每个ColumnDefinitionPacket表示一个字段的信息,其格式如下:

Java代码 
  1. lenenc_str     catalog  
  2. lenenc_str     schema  
  3. lenenc_str     table  
  4. lenenc_str     org_table  
  5. lenenc_str     name  
  6. lenenc_str     org_name  
  7. lenenc_int     length of fixed-length fields [0c]  
  8. 2              character set  
  9. 4              column length  
  10. 1              type  
  11. 2              flags  
  12. 1              decimals  
  13. 2              filler [00] [00]  
  14.   if command was COM_FIELD_LIST {  
  15. lenenc_int     length of default-values  
  16. string[$len]   default values  
  17.   }  

 3.EOF Packet 表示所有ColumnDefinitionPacket都发送完了,接下来将发行数据了 

4.任意个RowDataPacket,每一个代表一行数据,其中NULL用0xfb(251)表示,其格式如下:

Java代码 
  1. lenenc_str        field1's value -- 第一个字段的值  
  2. lenenc_str        field2's value -- 第二个字段的值  
  3. ...  
  4. lenenc_str        fieldN's value -- 第N个字段的值  

 5.EOF Packet,表示ResultSetPacket完毕,若此包中的SERVER_MORE_RESULT_EXISTS被设置,则则说明接下来还有ResultSetPacket,又回到第一步开始接收...

 

整个查询过程如下图:

 

 

 

7.COM_FIELD_LIST 请求

获取字段定义,5.7.11开始已弃用

 

Java代码 
  1. 1              [04] COM_FIELD_LIST  
  2. string[NUL]    table -- 表名  
  3. string[EOF]    field wildcard 字段通配符  

 

返回:COM_FIELD_LIST RESPONSE Packet

 

 

8.COM_FIELD_LIST 响应

COM_FIELD_LIST的响应报文,该报文是一个逻辑报文,其组成为以下一种:

1.ERR packet

2.任意个ColumnDefinitionPacket加一个EOFPacket

 

9.COM_CREATE_DB 请求

创建数据库请求

 

Java代码 
  1. 1              [05] COM_CREATE_DB  
  2. string[EOF]    schema name -- 数据库名  

 返回:OK Packet或者ERR Packet

 

10.COM_DROP_DB 请求

删除数据库请求

 

Java代码 
  1. 1              [06] COM_DROP_DB  
  2. string[EOF]    schema name -- 数据库名  

 

返回:OK Packet 或者 ERR Packet

 

11.COM_REFRESH 请求

Flush ... 和RESET ... 语句的实现命令,从5.7.11版本开始已弃用,改用COM_QUERY,执行FLUSH语句或者

 

Java代码 
  1. 1              [07] COM_REFRESH  
  2. 1              sub_command -- 命令,取值见下  

 sub_command取值:


 

 返回:OK Packet或者ERR Packet

 

 

12.COM_SHUTDOWN 请求

 shutdown mysql server的请求,5.7.9已弃用,8.0已移除,执行mysqladmin shutdown时发送该命令

 

Java代码 
  1. 1              [08] COM_SHUTDOWN  
  2.   if more data {  
  3. 1              shutdown type  
  4.   }  

 

 shutdown type取值:

 

返回:OK Packet或者ERR packet

 

13.COM_STATISTICS 请求

获取human readable的mysql server统计信息,执行mysqladmin status时发送该命令

 

 

Java代码 
  1. 1              [09] COM_STATISTICS  

 

 

返回:string<EOF>

 

 

 14.COM_PROCESS_INFO 请求

  get a list of active threads,执行show processlist 或者 mysqladminproesslist时发送该命令

 

 

Java代码 
  1. 1              [0a] COM_PROCCESS_INFO  

 

 

返回:ResultSetPacket 或者ERR Packet

 

15.COM_CONNECT 请求

mysql server 内部命令,5.7.11版本弃用,使用COM_QUERY替代

 

16.COM_PROCESS_KILL 请求

关闭连接

 

 

Java代码 
  1. 1              [0c] COM_PROCCESS_KILL  
  2. 4              connection id -- 连接ID,这个是在HandShake Packet传过来的  

 

 

返回:OK Packet或者ERR Packet

 

 

16.COM_DEBUG 请求

COM_DEBUG triggers a dump on internal debug info to stdout of the mysql-server.The SUPER privilege is required for this operation.执行mysqladmin debug时发送该命令

 

 

Java代码 
  1. 1              [0d] COM_DEBUG  

 

 

返回:EOF Packet或者ERR Packet

 

17.COM_PING 请求

心跳检测

 

 

Java代码 
  1. 1              [0e] COM_PING  

 

 

返回:OK Packet

 

18.COM_TIME 

mysql server内部命令

 

19.COM_DELAYED_INSERT

mysql server内部命令

 

20.COM_CHANGE_USER 请求

更改当前连接的用户并重置连接状态,包括user variables、临时表和预编译语句等等...

 

 

Java代码 
  1. 1              [11] COM_CHANGE_USER  
  2. string[NUL]    user  
  3.   if capabilities & SECURE_CONNECTION {  
  4. 1              auth-response-len  
  5. string[$len]   auth-response  
  6.   } else {  
  7. string[NUL]    auth-response  
  8.   }  
  9. string[NUL]    schema-name  
  10.   if more data {  
  11. 2              character-set  
  12.     if capabilities & CLIENT_PLUGIN_AUTH {  
  13. string[NUL]    auth plugin name  
  14.     }  
  15.     if capabilities & CLIENT_CONNECT_ATTRS) {  
  16. lenenc-int     length of all key-values  
  17. lenenc-str     key  
  18. lenenc-str     value  
  19.    if-more data in 'length of all key-values', more keys and value pairs  
  20.     }  
  21.   }  

 

 

 

21.COM_RESET_CONNECTION 请求

Resets the session state; more lightweight than COM_CHANGE_USER because it does not close and reopen the connection, and does not re-authenticate

 

 

Java代码 
  1. 1              [1f] COM_RESET_CONNECTION  

 

 

返回:OK Packet或者ERR Packet

 

22.COM_DAEMON 请求

mysql server内部命令

 

23.COM_STMT_PREPARE 请求

预编译语句,执行conn.preparedStatement(sql)时发送该命令

 

 

Java代码 
  1. 1                  the COM_STMT_PREPARE command   
  2. string<EOF>        query statement -- sql语句  

 

 

返回:COM_STMT_PREPARED OK Packet或者Err Packet

 

24.COM_STMT_PREPARE Response 响应

预编译成功时的响应报文,时逻辑报文,其由多个报文组成:

1.第一个报文包含预编译成功信息,其格式如下:

 

Java代码 
  1. 1        status, [00]=OK --成功标志  
  2. 4        statementId -- 预编译的语句ID  
  3. 2        number of columns -- 字段个数  
  4. 2        number of params -- 参数个数  
  5. 1        reserved, always 00 -- 保留  
  6. 2        number of warnings -- 警告个数  

 

2.如果上面的参数个数(记为N)大于0的话,那么接下来会有N个ColumnDefinitionPacket加上一个EOF Packet会被发送

 

3.如果上面的字段个数(记为M)大于0的话,那么接下来会有M个ColumnDefinitionPacket加上一个EOF Packet会被发送

 

 

 

25.COM_STMT_SEND_LONG_DATA请求

发送参数值给预编译语句,预编译中有几个?就得发几个该请求,并且都得在COM_STMT_EXECUTE之前发送

 

Java代码 
  1. 1              [18] COM_STMT_SEND_LONG_DATA  
  2. 4              statement-id -- 预编译语句ID  
  3. 2              param-id -- 参数ID  
  4. n              data -- 参数值  

 

返回:无返回

 

26.COM_STMT_EXECUTE请求

执行预编译语句

Java代码 
  1. 1              [17] COM_STMT_EXECUTE  
  2. 4              stmt-id -- 语句ID  
  3. 1              flags  
  4. 4              iteration-count, always 1  
  5. if num-params > 0:  
  6. n              NULL-bitmap, length: (num-params+7)/8  
  7. 1              new-params-bound-flag  
  8. if new-params-bound-flag == 1:  
  9. n              type of each parameter, length: num-params * 2  
  10. n              value of each parameter  

flags取值:

 

 

 

返回:COM_STMT_EXECUTE Response

 

27.COM_STMT_EXECUTE Response响应

 COM_STMT_EXECUTE 的响应报文,是下面三者之一:

1.OK Packet -- 执行update时

2.Err Packet

3.Binary Protocol ResultSet Packet --执行查询时

 

Binary Protocol ResultSet 

binary protocol result和之前讲的ResultSetPacket相似,

 

28.COM_STMT_CLOSE请求

 关闭预编译语句,该请求无响应

 

Java代码 
  1. 1              [19] COM_STMT_CLOSE  
  2. 4              statement-id -- 预编译语句ID  

 

 

29.COM_STMT_RESET请求

 清空由COM_STMT_SEND_LONG_DATA发送的所有参数值,并关闭由COM_STMT_EXECUTE打开的CURSOR

 

Java代码 
  1. 1              [1a] COM_STMT_RESET  
  2. 4              statement-id  

 

返回:OK Packet或者ERR Packet

 

// TODO 未完待补充

原创粉丝点击