全文检索(一)

  全文索引的介绍

全文索引与普通的索引不同，普通的索引是以B-tree结构来维护的，而全文索引是一种特殊类型的基于标记的功能性索引，是由Microsoft SQL Server全文引擎服务创建和维护的。

使用全文索引可以快速、灵活地为存储在SQL Server数据库中的文本数据创建基于关键字查询的索引，与like语句不同，like语句的搜索是适用于字符模式的查询，而全文索引是根据特定语言的规则对词和短语的搜索，是针对语言的搜索。

在对大量的文本数据进行查询时，全文索引可以大大地提高查询的性能，如对于几百万条记录的文本数据进行like查询可能要花几分钟才能返回结果，而使用全文索引则只要几秒钟甚至更少的时间就可以返回结果了。

全文索引中常用的术语

由于全文索引中使用了较多的新的术语，在此先介绍这些术语：

l  全文索引：一种特殊的索引，能在给定的列中存储有关重要的词及位置的信息，使用这些信息可以快速进行全文查询，搜索包括特定词或词组的行。

全文索引的体系结构

SQL Server的全文索引是由SQL Server FullText Search服务来维护的，该服务可以在Windows操作系统的【管理工具】à【服务】里找到，如图1所示，在此可以启动、停止、暂停、恢复和重新启动该服务。只有SQL Server FullText Search服务在启动状态时，才能使用全文索引。

图1 SQL Server FullText Search服务

SQL Server FullText Search服务由两个部分组件支持：一个是Microsoft Full-Text Engine for SQL Server（MSFTESQL），也就是SQL Server全文搜索引擎；另一个是Microsoft Full-Text Engine Filter Deamon（MSFTEFD），也就是全文搜索引擎过滤器。

Microsoft Full-Text Engine for SQL Server的作用是填充全文索引、管理全文索引和全文目录、帮助对SQL Server数据库中的数据表进行全文搜索。Microsoft Full-Text Engine Filter Deamon包含筛选器、协议处理程序和断字符三个组件，其作用是负责从数据表中访问和筛选数据以及进行断字和词干分析。其中，筛选器的作用是从文档中提取文本信息，并将非文本信息和格式化信息（如换行符、字体大小等信息）删除，然后生成文本字符串和属性的对应，并将它们传递给索引引擎；协议处理程序用于从指定数据库中的表内访问数据；断字符用于在查询或抓取的文档中确定字符边界位置。

全文索引组件负责对全文索引的初始填充以及当全文索引表中的数据被修改时的更新。当全文填充（爬网）开始后，数据库引擎会将大量的数据存储到内存里，并通知Microsoft Full-Text Engine for SQL Server（MSFTESQL）开始进行索引。当MSFTESQL服务接到进行索引的通知后，使用协议处理程序组件从内存中取得数据进行处理后生成全文索引。MSFTESQL服务会将数据表中的某一列或几列中的字符和二进制数据编制成索引。在对varbinary(max)或image列中的数据编制索引时，筛选器会将基于为该数据指定的文件格式来提取文本。在处理索引的过程中MSFTESQL服务通过断字符来将收集到的文本数据分隔成各个单独的标记或关键字。这个过程就是全文索引的过程。

由于全文索引与普通的索引不同，全文索引并不是存储在数据表中，而是存储在全文目录中，所以在使用全文索引来搜索数据时，其运行的流程和普通索引也不一样。

如图2所示，当SQL Server发出全文搜索的请求后，会将搜索的条件传递给全文搜索引擎过滤器，经过MSFTEFD处理后，将数据提供给MSFTESQL，再由MSFTESQL从全文目录中找到符合要求的数据，再返回给SQL Server进行后续操作。这就是进行全文搜索的过程。

图2 全文搜索流程

 

l  全文目录：全文目录是存储全文索引的地方，全文目录必须驻留在与SQL Server实例相关联的本地硬盘上，每个全文目录可用于满足数据库内的一个或多个表的索引需求。

 全文索引的体系结构

SQL Server的全文索引是由SQL Server FullText Search服务来维护的，该服务可以在Windows操作系统的【管理工具】à【服务】里找到，如图14.1所示，在此可以启动、停止、暂停、恢复和重新启动该服务。只有SQL Server FullText Search服务在启动状态时，才能使用全文索引。

图1 SQL Server FullText Search服务

SQL Server FullText Search服务由两个部分组件支持：一个是Microsoft Full-Text Engine for SQL Server（MSFTESQL），也就是SQL Server全文搜索引擎；另一个是Microsoft Full-Text Engine Filter Deamon（MSFTEFD），也就是全文搜索引擎过滤器。

Microsoft Full-Text Engine for SQL Server的作用是填充全文索引、管理全文索引和全文目录、帮助对SQL Server数据库中的数据表进行全文搜索。Microsoft Full-Text Engine Filter Deamon包含筛选器、协议处理程序和断字符三个组件，其作用是负责从数据表中访问和筛选数据以及进行断字和词干分析。其中，筛选器的作用是从文档中提取文本信息，并将非文本信息和格式化信息（如换行符、字体大小等信息）删除，然后生成文本字符串和属性的对应，并将它们传递给索引引擎；协议处理程序用于从指定数据库中的表内访问数据；断字符用于在查询或抓取的文档中确定字符边界位置。

全文索引组件负责对全文索引的初始填充以及当全文索引表中的数据被修改时的更新。当全文填充（爬网）开始后，数据库引擎会将大量的数据存储到内存里，并通知Microsoft Full-Text Engine for SQL Server（MSFTESQL）开始进行索引。当MSFTESQL服务接到进行索引的通知后，使用协议处理程序组件从内存中取得数据进行处理后生成全文索引。MSFTESQL服务会将数据表中的某一列或几列中的字符和二进制数据编制成索引。在对varbinary(max)或image列中的数据编制索引时，筛选器会将基于为该数据指定的文件格式来提取文本。在处理索引的过程中MSFTESQL服务通过断字符来将收集到的文本数据分隔成各个单独的标记或关键字。这个过程就是全文索引的过程。

由于全文索引与普通的索引不同，全文索引并不是存储在数据表中，而是存储在全文目录中，所以在使用全文索引来搜索数据时，其运行的流程和普通索引也不一样。