深度解析MySQL 5.7之中文全文检索

来源：互联网发布：咏春拳知乎编辑：程序博客网时间：2024/06/05 17:54

InnoDB默认的全文索引parser非常合适于Latin，因为Latin是通过空格来分词的。但对于像中文，日文和韩文来说，没有这样的分隔符。一个词可以由多个字来组成，所以我们需要用不同的方式来处理。在MySQL 5.7.6中我们能使用一个新的全文索引插件来处理它们：n-gram parser。

前言

root@localhost [ngram]> show variables like 'ngram_token_size';

其实全文检索在MySQL里面很早就支持了，只不过一直以来只支持英文。缘由是他从来都使用空格来作为分词的分隔符，而对于中文来讲，显然用空格就不合适，需要针对中文语义进行分词。这不，从MySQL 5.7开始，MySQL内置了ngram全文检索插件，用来支持中文分词，并且对MyISAM和InnoDB引擎有效。

在使用中文检索分词插件ngram之前，先得在MySQL配置文件里面设置他的分词大小，比如，

?

1

2

[mysqld]

ngram_token_size=2

这里把分词大小设置为2。要记住，分词的SIZE越大，索引的体积就越大，所以要根据自身情况来设置合适的大小。

示例表结构：

?

1

2

3

4

5

6

CREATETABLE articles (

   id INTUNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,

   titleVARCHAR(200),

   body TEXT,

   FULLTEXT (title,body) WITH PARSER ngram

  ) ENGINE=InnoDBCHARACTER SET utf8mb4;

示例数据，有6行记录。

?

mysql>select * from articles\G

***************************1. row ***************************

  id: 1

title: 数据库管理

 body: 在本教程中我将向你展示如何管理数据库

***************************2. row ***************************

  id: 2

title: 数据库应用开发

 body: 学习开发数据库应用程序

***************************3. row ***************************

  id: 3

title: MySQL完全手册

 body: 学习MySQL的一切

***************************4. row ***************************

  id: 4

title: 数据库与事务处理

 body: 系统的学习数据库的事务概论

***************************5. row ***************************

  id: 5

title: NoSQL精髓

 body: 学习了解各种非结构化数据库

***************************6. row ***************************

  id: 6

title: SQL 语言详解

 body: 详细了解如果使用各种SQL

6rows inset (0.00 sec)

显式指定全文检索表源

?

1

2

mysql> SETGLOBAL innodb_ft_aux_table="new_feature/articles";

Query OK, 0 rows affected (0.00 sec)

通过系统表，就可以查看到底是怎么划分articles里的数据。

?

mysql>SELECT *FROMinformation_schema.INNODB_FT_INDEX_CACHE LIMIT 20,10;

+------+--------------+-------------+-----------+--------+----------+

| WORD | FIRST_DOC_ID | LAST_DOC_ID | DOC_COUNT | DOC_ID| POSITION |

+------+--------------+-------------+-----------+--------+----------+

| 中我 |   2 |   2 |   1 |  2 |  28 |

| 习m |   4 |   4 |   1 |  4 |  21 |

| 习了 |   6 |   6 |   1 |  6 |  16 |

| 习开 |   3 |   3 |   1 |  3 |  25 |

| 习数 |   5 |   5 |   1 |  5 |  37 |

| 了解 |   6 |   7 |   2 |  6 |  19 |

| 了解 |   6 |   7 |   2 |  7 |  23 |

| 事务 |   5 |   5 |   1 |  5 |  12 |

| 事务 |   5 |   5 |   1 |  5 |  40 |

| 何管 |   2 |   2 |   1 |  2 |  52 |

+------+--------------+-------------+-----------+--------+----------+

10rows in set (0.00 sec)

这里可以看到，把分词长度设置为2，所有的数据都只有两个一组。上面数据还包含了行的位置，ID等等信息。

接下来，我来进行一系列检索示范，使用方法和原来英文检索一致。

一、自然语言模式下检索：

1、得到符合条件的个数，

?

mysql>SELECTCOUNT(*)FROM articles

->WHERE MATCH (title,body) AGAINST ('数据库'IN NATURALLANGUAGE MODE);

+----------+

|COUNT(*) |

+----------+

|  4 |

+----------+

1 row in set (0.05 sec)

2、得到匹配的比率，

?

mysql>SELECTid, MATCH (title,body) AGAINST ('数据库'IN NATURAL LANGUAGE MODE)

 ASscore FROM articles;

+----+----------------------+

| id| score    |

+----+----------------------+

| 1 | 0.12403252720832825 |

| 2 | 0.12403252720832825 |

| 3 |     0 |

| 4 | 0.12403252720832825 |

| 5 | 0.062016263604164124|

| 6 |     0 |

+----+----------------------+

6rowsin set (0.00 sec)

二、布尔模式下搜索，这个就相对于自然模式搜索来的复杂些：

1、匹配既有管理又有数据库的记录，

?

mysql>SELECT * FROM articles WHERE MATCH (title,body)

  ->  AGAINST ('+数据库 +管理' IN BOOLEAN MODE);

+----+------------+--------------------------------------+

| id| title  | body         |

+----+------------+--------------------------------------+

| 1 | 数据库管理 | 在本教程中我将向你展示如何管理数据库  |

+----+------------+--------------------------------------+

1 rowin set (0.00 sec)

2、匹配有数据库，但是没有管理的记录，

?

mysql>SELECT * FROM articles WHERE MATCH (title,body)

  ->  AGAINST ('+数据库 -管理' IN BOOLEAN MODE);

+----+------------------+----------------------------+

| id| title    | body      |

+----+------------------+----------------------------+

| 2 | 数据库应用开发  | 学习开发数据库应用程序   |

| 4 | 数据库与事务处理 | 系统的学习数据库的事务概论  |

| 5 | NoSQL 精髓  | 学习了解各种非结构化数据库  |

+----+------------------+----------------------------+

3rows in set (0.00 sec)

3、匹配MySQL，但是把数据库的相关性降低，

?

mysql>SELECT * FROM articles WHERE MATCH (title,body)

  ->  AGAINST ('>数据库 +MySQL' INBOOLEAN MODE);

+----+---------------+-----------------+

| id| title   | body   |

+----+---------------+-----------------+

| 3 | MySQL完全手册 |学习MySQL的一切 |

+----+---------------+-----------------+

1 rowin set (0.00 sec)

三、查询扩展模式，比如要搜索数据库，那么MySQL，oracle，DB2也都将会被搜索到，

?

mysql>SELECT * FROM articles

  -> WHERE MATCH (title,body)

  ->  AGAINST ('数据库'WITH QUERY EXPANSION);

+----+------------------+--------------------------------------+

| id| title   | body         |

+----+------------------+--------------------------------------+

| 1 | 数据库管理  | 在本教程中我将向你展示如何管理数据库  |

| 4 | 数据库与事务处理 | 系统的学习数据库的事务概论    |

| 2 | 数据库应用开发  | 学习开发数据库应用程序     |

| 5 | NoSQL 精髓  | 学习了解各种非结构化数据库    |

| 6 | SQL 语言详解  | 详细了解如果使用各种SQL     |

| 3 | MySQL完全手册  | 学习MySQL的一切      |

+----+------------------+--------------------------------------+

6rows in set (0.01 sec)

当然，我这里只是功能演示，更多的性能测试，大家有兴趣可以进行详细测试。由于N-grm是中文检索常用的分词算法，已经在互联网大量使用，这次集成到MySQL中，想必效果上不会有太大的问题。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流。

　　由于模糊搜索的需求越来越多，所以在从库上创建全文索引来应付各种搜索需求。现在创建一个用户名的全文搜索，全表大小为1100W条记录左右。

1、表结构查询

mysql> desc ucenter_member;

+------------------+------------------+------+-----+------------+----------------+

+------------------+------------------+------+-----+------------+----------------+

| id | int(10) unsigned | NO | PRI | NULL | auto_increment |

| nickname | char(20) | YES | MUL | | |

| devicetoken | varchar(60) | NO | MUL | | |

| version | char(10) | YES | | | |

| app_type         | tinyint(1)       | YES  |     | 0          |                |

| password | char(32) | NO | | NULL | |

| salt | char(4) | NO | | NULL | |

| mobile | varchar(13) | YES | MUL | NULL | |

| avatar | int(11) | NO | | 0 | |

| sex | tinyint(1) | NO | | 0 | |

| birthday | date | YES | | 0000-00-00 | |

+------------------+------------------+------+-----+------------+----------------+

11 rows in set (0.00 sec)

必要的参数设置

mysql> show variables like 'ft_min_word_len';

+-----------------+-------+

| Variable_name | Value |

+-----------------+-------+

| ft_min_word_len | 1 |

+-----------------+-------+

1 row in set (0.00 sec)

2、添加全文索引

mysql> alter table ucenter_member add fulltext index ix_ft_ucenter_member_nickname(nickname) with parser ngram;

3、添加过程（添加全文整个过程要很长的时间，并且这段时间里所有业务将不能执行）

主从复制将会停止<br>mysql> show slave status\G

*************************** 1. row ***************************

Slave_IO_State: Waiting for master to send event

Master_Host: 192.168.1.200

Master_User: slave

Master_Port: 3306

Connect_Retry: 60

Master_Log_File: mybin.000750

Read_Master_Log_Pos: 746166232

Relay_Log_File: relay-bin.002247

Relay_Log_Pos: 17345090

Relay_Master_Log_File: mybin.000750

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

Replicate_Do_DB:

Replicate_Ignore_DB:

Replicate_Do_Table:

Replicate_Ignore_Table:

Replicate_Wild_Do_Table:

Replicate_Wild_Ignore_Table: sys.%,mysql.%,information_schema.%,performance_schema.%

Last_Errno: 0

Last_Error:

Skip_Counter: 0

Exec_Master_Log_Pos: 736231270

Relay_Log_Space: 27280306

Until_Condition: None

Until_Log_File:

Until_Log_Pos: 0

Master_SSL_Allowed: No

Master_SSL_CA_File:

Master_SSL_CA_Path:

Master_SSL_Cert:

Master_SSL_Cipher:

Master_SSL_Key:

Seconds_Behind_Master: 1104

Master_SSL_Verify_Server_Cert: No

Last_IO_Errno: 0

Last_IO_Error:

Last_SQL_Errno: 0

Last_SQL_Error:

Replicate_Ignore_Server_Ids:

Master_Server_Id: 1

Master_UUID: 5a00f33b-8551-11e5-9122-0016310207a0

Master_Info_File: mysql.slave_master_info

SQL_Delay: 0

SQL_Remaining_Delay: NULL

Slave_SQL_Running_State: Waiting for dependent transaction to commit

Master_Retry_Count: 86400

Master_Bind:

Last_IO_Error_Timestamp:

Last_SQL_Error_Timestamp:

Master_SSL_Crl:

Master_SSL_Crlpath:

Retrieved_Gtid_Set: 5a00f33b-8551-11e5-9122-0016310207a0:1451340674-1451398198

Executed_Gtid_Set: 5a00f33b-8551-11e5-9122-0016310207a0:1-1451377326,

9905e5a2-815d-11f5-8244-00163f004aa2:1-84

Auto_Position: 1

Replicate_Rewrite_DB:

Channel_Name:

1 row in set (0.00 sec)

查询进程

mysql> show processlist;

+

----+-------------+-----------+--------+---------+------+---------------------------------------------+------------------------------------------------------------------------------------------------------+

| Id | User | Host | db | Command | Time

| State                                       | Info                                                                                                 |

+

----+-------------+-----------+--------+---------+------+---------------------------------------------+------------------------------------------------------------------------------------------------------+

| 1 | system user | | NULL | Connect | 1673 | Waiting for master to send event | NULL |

| 2 | system user | | NULL | Connect | 1123 | Waiting for dependent transaction to commit | NULL |

| 3 | system user | | NULL | Connect | 1123 | Waiting for table metadata lock | NULL |

| 4 | system user | | NULL | Connect | 1195 | Waiting for an event from Coordinator | NULL |

| 5 | system user | | NULL | Connect | 1673 | Waiting for an event from Coordinator | NULL |

| 6 | system user | | NULL | Connect | 1673 | Waiting for an event from Coordinator | NULL |

| 14 | root | localhost | NULL

| Query   |    0 | starting                                    | show processlist                                                                                     |

+

----+-------------+-----------+--------+---------+------+---------------------------------------------+------------------------------------------------------------------------------------------------------+

8 rows in set (0.00 sec)

4、完成创建

mysql> alter table ucenter_member add fulltext index ix_ft_ucenter_member_nickname(nickname) with parser ngram;

Query OK, 0 rows affected, 1 warning (31 min 7.29 sec)

Records: 0 Duplicates: 0 Warnings: 1

5、查询索引

按布尔全文搜索模式查询

mysql> select version,nickname from ucenter_member where match(nickname) against('中国' in boolean mode) limit 10;

+---------+--------------------------------------------------+

| version | nickname |

+---------+--------------------------------------------------+

| 4.63 | 我爱中国立场中国 |

| | 中国联通一窍不通中国移动一动不动 |

| 4.21 | 姜振光（中国·北科、中国·沪航） |

| 4.63 | 我是中国人，我爱中国 |

| 4.40 | 中国人中国心 |

| 4.52 | 中国特警――中国青年财神爷 |

| 4.52 | 完美中国，中国完美 |

| 4.81 | 中国梦、梦中国 |

| 4.52 | 中国梦～我的梦 |

| | A 中国梦 |

+---------+--------------------------------------------------+

10 rows in set (0.01 sec)<br><br>

mysql> select version,nickname from ucenter_member where match(nickname) against('中国梦想' in boolean mode) limit 10;

Empty set (0.03 sec)

按自然语言搜索模式查询

mysql> select version,nickname from ucenter_member where match(nickname) against('中国' in natural language mode) limit 10;

+---------+--------------------------------------------------+

| version | nickname |

+---------+--------------------------------------------------+

| 4.63 | 我爱中国立场中国 |

| | 中国联通一窍不通中国移动一动不动 |

| 4.21 | 姜振光（中国·北科、中国·沪航） |

| 4.63 | 我是中国人，我爱中国 |

| 4.40 | 中国人中国心 |

| 4.52 | 中国特警――中国青年财神爷 |

| 4.52 | 完美中国，中国完美 |

| 4.81 | 中国梦、梦中国 |

| 4.52 | 中国梦～我的梦 |

| | A 中国梦 |

+---------+--------------------------------------------------+

10 rows in set (0.01 sec)

mysql> select version,nickname from ucenter_member where match(nickname) against('中国梦想' in natural language mode) limit 10;

+------------+--------------------------------------------------+

| version | nickname |

+------------+--------------------------------------------------+

| 4.81 | 中国梦、梦中国 |

| 4.63 | 中国梦我的梦，我的梦想是行业顶尖 |

| 4.52 | 中国梦～我的梦 |

| | A 中国梦 |

|            | 中国梦                                           |

| 3.17 | 中国梦 |

| 3.171 | AST中国梦 |

| 3.20201505 | 中国梦红楼梦 |

| 3.211 | 中国梦 |

| 4.63 | 中国梦 |

+------------+--------------------------------------------------+

10 rows in set (0.05 sec)

6、产生的文件

[root@mysql01 mydbs]# ls -alh FTS*

-rw-r----- 1 mysql mysql 104M Oct 26 11:47 FTS_0000000000000353_0000000000000710_INDEX_1.ibd

-rw-r----- 1 mysql mysql 17M Oct 26 11:47 FTS_0000000000000353_0000000000000710_INDEX_2.ibd

-rw-r----- 1 mysql mysql 14M Oct 26 11:47 FTS_0000000000000353_0000000000000710_INDEX_3.ibd

-rw-r----- 1 mysql mysql 40M Oct 26 11:47 FTS_0000000000000353_0000000000000710_INDEX_4.ibd

-rw-r----- 1 mysql mysql 44M Oct 26 11:48 FTS_0000000000000353_0000000000000710_INDEX_5.ibd

-rw-r----- 1 mysql mysql 212M Oct 26 11:47 FTS_0000000000000353_0000000000000710_INDEX_6.ibd

-rw-r----- 1 mysql mysql 96K Oct 26 11:43 FTS_0000000000000353_BEING_DELETED_CACHE.ibd

-rw-r----- 1 mysql mysql 96K Oct 26 11:42 FTS_0000000000000353_BEING_DELETED.ibd

-rw-r----- 1 mysql mysql 96K Oct 26 11:41 FTS_0000000000000353_CONFIG.ibd

-rw-r----- 1 mysql mysql 96K Oct 26 11:40 FTS_0000000000000353_DELETED_CACHE.ibd

-rw-r----- 1 mysql mysql 96K Oct 26 12:09 FTS_0000000000000353_DELETED.ibd

逻辑全文搜索支持下面的操作符：

一个领头的加号表示，该词必须出现在每个返回的记录行中。

一个领头的减号表示，该词必须不出现在每个返回的记录行中。

缺省的 (当既没有加号也没有负号被指定时)词是随意的，但是包含它的记录行将被排列地更高一点。这个模仿没有 IN BOOLEAN MODE 修饰词的 MATCH() ... AGAINST() 的行为。

< >

这两个操作符用于改变一个词的相似性值的基值。< 操作符减少基值，> 操作符则增加它。参看下面的示例。

( )

圆括号用于对子表达式中的词分组。

一个领头的否定号的作用象一个否定操作符，引起行相似性的词的基值为负的。它对标记一个噪声词很有用。一个包含这样的词的记录将被排列得低一点，但是不会被完全的排除，因为这样可以使用 - 操作符。

一个星号是截断操作符。不想其它的操作符，它应该被追加到一个词后，不加在前面。

短语，被包围在双引号"中，只匹配包含这个短语(字面上的，就好像被键入的)的记录行。

这里是一些示例：

apple banana

找至少包含上面词中的一个的记录行

+apple +juice

... 两个词均在被包含

+apple macintosh

... 包含词 “apple”，但是如果同时包含 “macintosh”，它的排列将更高一些

+apple -macintosh

... 包含 “apple” 但不包含 “macintosh”

+apple +(>pie

... 包含 “apple” 和 “pie”，或者包含的是 “apple” 和 “strudel” (以任何次序)，但是 “apple pie” 排列得比 “apple strudel” 要高一点

apple*

... 包含 “apple”，“apples”，“applesauce” 和 “applet”

"some words"

... 可以包含 “some words of wisdom”，但不是 “some noise words”

6.8.1 全文的限制

MATCH() 函数的所有参数必须是从来自于同一张表的列，同时必须是同一个FULLTEXT 索引中的一部分，除非 MATCH() 是 IN BOOLEAN MODE 的。

MATCH() 列列表必须确切地匹配表的某一 FULLTEXT 索引中定义的列列表，除非 MATCH() 是 IN BOOLEAN MODE 的。

AGAINST() 的参数必须是一个常量字符串。

6.8.2 微调 MySQL 全文搜索

不幸地，全文搜索仍然只有很少的用户可调参数，虽然增加一些在 TODO 上排列很高。如果你有一个 MySQL 源码发行(查看章节 2.3 安装一个 MySQL 源码发行)，你可以发挥对全文搜索的更多控制。

注意，全文搜索为最佳的搜索效果，被仔细地调整了。修改默认值的行为，在大多数情况下，只会使搜索结果更糟。不要修改 MySQL 的源代码，除非你知道你在做什么！

被索引的词的最小长度由 MySQL 变量 ft_min_word_len 指定。查看章节 4.5.6.4 SHOW VARIABLES。将它改为你所希望的值，并重建你的 FULLTEXT 索引。 (这个变量只从 MySQL 4.0 开始被支持)

stopword 列表可以从 ft_stopword_file 变量指定的文件中读取。查看章节 4.5.6.4 SHOW VARIABLES。在修改了 stopword 列表后，重建你的 FULLTEXT 索引。(这个变量只从 MySQL 4.0.10 开始被支持)

50% 阈值选择由所选择的特殊的衡量模式确定。为了禁止它，修改 `myisam/ftdefs.h' 文件中下面的一行：

#define GWS_IN_USE GWS_PROB

改为：

#define GWS_IN_USE GWS_FREQ

然后重新编译 MySQL。在这种情况下，不需要重建索引。注意：使用了这个，将严重地减少 MySQL 为 MATCH() 提供足够的相似性值的能力。如果你确实需要搜索这样的公共词，最好使用 IN BOOLEAN MODE 的搜索代替，它不遵守 50% 的阈值。

有时，搜索引擎维护员希望更改使用于逻辑全文搜索的操作符。这些由变量 ft_boolean_syntax 定义。查看章节 4.5.6.4 SHOW VARIABLES。然而，这个变量是只读的，它的值在 `myisam/ft_static.c' 中被设置。

对于这些更改，要求你重建你的 FULLTEXT 索引，对于一个 MyISAM 表，最容易的重建索引文件的方式如下面的语句：

mysql> REPAIR TABLE tbl_name QUICK;

6.8.3 全文搜索 TODO

使所有对 FULLTEXT 索引的操作更快

邻近(Proximity)操作符

对 "always-index words" 的支持。他们可以是用户希望视为一个词处理的任意字符串，例如 "C++"、"AS/400"、"TCP/IP"，等等

支持在 MERGE 表中的全文搜索

对多字节字符的支持

依照数据的语言建立 stopword 列表

Stemming (当然，依赖于数据的语言)

Generic user-suppliable UDF preparser.

使模式更加灵活 (通过为 CREATE/ALTER TABLE 中的 FULLTEXT 增加某些可调整参数)

阅读全文

0 0