第四章solr配置IK中文分词

来源:互联网 发布:mysql trigger debug 编辑:程序博客网 时间:2024/05/19 18:00

简介

本章节只讲述IK分词的配置方式,拼音分词在这里就不再累述

准备

solr7.1.0已经安装好并可以正常启动(请看:第一章solr安装)

IK分词器下载http://files.cnblogs.com/files/wander1129/ikanalyzer-solr6.5.zip

拼音分词器下载http://files.cnblogs.com/files/wander1129/ikanalyzer-solr6.5.zip

我的solr配置情况如下:
web启动使用tomcat
%TOMCAT%/webapps/solr

solr_home地址为:D:\mnt\solr_home
core地址为
D:\mnt\solr_home\new_core

IK分词配置

IK分文件组成:
ext.dic为扩展字典
stopword.dic为停止词字典
IKAnalyzer.cfg.xml为配置文件
solr-analyzer-ik-5.1.0.jar ik-analyzer-solr5-5.x.jar为分词jar包。

  1. 配置jar:解压后的两个jar丢到%TOMCAT%/webapps/solr/WEB-INF/lib下面
  2. 更改solr_home下的core配置
    new_core\conf\managed-schema配置文件
<!-- 我添加的IK分词 --><fieldType name="text_ik" class="solr.TextField">        <analyzer type="index">            <tokenizer class="org.apache.lucene.analysis.ik.IKTokenizerFactory" useSmart="true"/>        </analyzer>        <analyzer type="query">            <tokenizer class="org.apache.lucene.analysis.ik.IKTokenizerFactory" useSmart="true"/>        </analyzer></fieldType>

3 重启tomcat测试是否成功
这里写图片描述
如图,已经和其他fieldType的分词结果不同了,分词结果可以看到词组出现而不是单个字
注:fieldType类型text_ik为IK的分词类型

拼音分词配置

原理同上
1. 解压后的两个jar丢到%TOMCAT%/webapps/solr/WEB-INF/lib下面
2. pinyin分词器:更改new_core\conf\managed-schema配置文件,添加如下分词fieldType类型

<fieldType name="text_pinyin" class="solr.TextField" positionIncrementGap="0">    <analyzer type="index">        <tokenizer class="org.apache.lucene.analysis.ik.IKTokenizerFactory"/>        <filter class="com.shentong.search.analyzers.PinyinTransformTokenFilterFactory" minTermLenght="2" />        <filter class="com.shentong.search.analyzers.PinyinNGramTokenFilterFactory" minGram="1" maxGram="20" />    </analyzer>    <analyzer type="query">        <tokenizer class="org.apache.lucene.analysis.ik.IKTokenizerFactory"/>        <filter class="com.shentong.search.analyzers.PinyinTransformTokenFilterFactory" minTermLenght="2" />        <filter class="com.shentong.search.analyzers.PinyinNGramTokenFilterFactory" minGram="1" maxGram="20" />    </analyzer></fieldType>

3重启测试,这里就不粘贴了方法同上

原创粉丝点击