22倒排索引简介

正排索引与倒排索引

    搜索引擎的关键步骤就是建立倒排索引，所谓倒排索引一般表示为一个关键词，然后是它的频度（出现的次数），位置（出现在哪一篇文章或网页中，及有关的日期，作者等信息），它相当于为互联网上几千亿页网页做了一个索引，好比一本书的目录、标签一般。读者想看哪一个主题相关的章节，直接根据目录即可找到相关的页面。不必再从书的第一页到最后一页，一页一页的查找。

 

    我们知道：为网页建立全文索引是网页预处理的核心部分，包括分析网页和建立倒排文件。二者是顺序进行，先分析网页，后建立倒排文件（也称为反向索引），如图所示：

    正如上图粗略所示，倒排索引创建的过程如下：

    爬虫抓取相关的网页，而后提取相关网页或文章中所有的关键词；

    分词，找出所有单词；

    过滤不相干的信息（如广告等信息）；

    构建倒排索引，关键词=>（文章ID 出现次数 出现的位置）

    生成词典文件、频率文件、位置文件

    压缩。

 

1：一般索引（正排索引）

    正排表是以文档的ID为关键字，表中记录文档中每个字的位置信息，查找时扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档。正排表结构如下图所示：

    这种组织方法在建立索引的时候结构比较简单，建立比较方便且易于维护，因为索引是基于文档建立的，若是有新的文档加入，直接为该文档建立一个新的索引块，挂接在原来索引文件的后面。若是有文档删除，则直接找到该文档号文档对应的索引信息，将其直接删除。但是在查询的时候需对所有的文档进行扫描以确保没有遗漏，这样就使得检索时间大大延长，检索效率低下。      

    尽管正排表的工作原理非常的简单，但是由于其检索效率太低，除非在特定情况下，否则实用性价值不大。 

 

2：倒排索引

    倒排表以字或词为关键字进行索引，表中关键字所对应的记录表项记录了出现这个字或词的所有文档，一个表项就是一个字表段，它记录该文档的ID和字符在该文档中出现的位置情况。

   由于每个字或词对应的文档数量在动态变化，所以倒排表的建立和维护都较为复杂，但是在查询的时候由于可以一次得到查询关键字所对应的所有文档，所以效率高于正排表。

    在全文检索中，检索的快速响应是一个最为关键的性能，而索引建立由于在后台进行，尽管效率相对低一些，但不会影响整个搜索引擎的效率。

    倒排表的结构图如图： 

      倒排索引是搜索引擎之基石。建成了倒排索引后，用户要查找某个关键词，搜索引擎不会再次使用爬虫一个又一个去抓取每一个网页，从上到下扫描网页，看这个网页有没有出现这个关键词，而是会在它预先生成的倒排索引文件中查找和匹配包含这个关键词的所有网页。找到了之后，再按相关性度排序，最终把排序后的结果显示给用户。

 

    如下，即是一个倒排索引文件（不全），我们把它取名为big_index：

    文件中每一较短的，不包含有“#####”符号的便是某个关键词，及这个关键词的出现次数。

 

(http://blog.csdn.net/v_july_v/article/details/7085669)

(http://blog.csdn.net/v_july_v/article/details/7109500)