solr中文分词

来源:互联网 发布:广州龙族网络 编辑:程序博客网 时间:2024/05/04 13:05

1.对于中文分词的了解:对于中文缺少词的明确划分,大多的词是双字或者多字,拉丁语系的词就天然的是空格划分,一句话若干个单词,汉语一句话分词就没有明显的界限,需要人为主观判断,而且各不相同。

2.使用IK进行中文分词,操作简单,而且可扩展自己的分词词库。

3.首先加入IKAnalyzer的jar包,可以直接在apache-solr-3.6.2\example\solr下建立lib,放在lib下;

4.配置 schema.xml文件

在schema.xml主要配置了以下内容:fieldType和fields。其中,fieldType是用来配置各种fieldType的类型的,fields则是配置建索引的每个域的名字,是否分词,是否存储的。

首先配置: 

 <fieldType name="text_zh" class="solr.TextField" positionIncrementGap="100">
   <analyzer type="index">
      <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" useSmart="false" />
     </analyzer>
   <analyzer type="query">
      <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" useSmart="false" />
     </analyzer>
  </fieldType>

再配置:(这里是以content内容来检索分词的)

  <field name="content" type="text_zh" stored="true" indexed="true"/>

5.启动solr,到http://localhost:8983/solr/admin/analysis.jsp,如果是tomcat为http://localhost:8080/solr/admin/analysis.jsp


出现分词结果。
原创粉丝点击