文件名搜索分词设计

来源:互联网 发布:js forech 编辑:程序博客网 时间:2024/05/18 01:18

期望目标:能够实现String.contains操作。
举例:”sd.mp4” 不管是搜”s”、”m”、”.”、”d.m”、”mp”都应该可以搜出该关键词。核心难度在于倒排索引的关键词覆盖。

参考内部IM的搜索机制如下:
这里写图片描述
由于IM搜索主要用于群名、人名,垃圾数据少,并且多为中文,因此可以对中文进行拼音提取,对英文进行多段冗余。
这样做有两个好处,第一,开发量低;第二,可以省去搜索补全的部分功能,直接按拼音或缩写进行查询。
但是也有一些缺点,第一,汉字的拼音冗余(相对于搜索补全功能单独做);第二,英文高度冗余(相对于对英文单个字母进行分词)
但是由于人名、群名数据的固有特点,缺点非常非常不明显(英文少,汉字重复率低)。

但是对于文件搜索,这种方式并不适合,原因如下:
第一,不同于人名,文件名重复的内容非常多,会有大量无用拼音产生。
第二,不同于人名,文件名有非常多的“英文”,高度冗余会造成索引内容过多(排队握手问题,指数级增长)。
在这个场景下,更合适的方法是每个字符进行倒排索引,每个字符都作为一个词。然后搜索时使用和顺序相关的“match_phrase”。

那如何对每个字符进行分词呢?
ik、ansj中并没有找到类似的Token化方法,于是有了自己写分词器的念头
但是在浏览ES相关标准的时候,发现了非常简单的自定义分词器的方法,定制后的分词器如下(原链接):

{    "settings": {        "analysis": {            "tokenizer": {                "filename_tokenizer": {                    "type":    "pattern",                    "pattern": ".",                    "group": "0"                }            },            "analyzer": {                "filename_analyzer": {                    "type": "custom",                    "tokenizer": "filename_tokenizer",                    "filter": [                        "standard",                        "lowercase",                        "stop"                    ]                }            }        }    }}

⚠ 交付ES索引的数据已经能够保证合法性,所以不需要任何校验

0 0
原创粉丝点击