八、使用IKAnalyzer自定义分词字典

文件下载

IKAnalyzer下载地址：https://ik-analyzer.googlecode.com/files/IK%20Analyzer%202012FF_hf1.zip

这里我使用的是IK Analyzer 2012FF_hf1.zip这个包；因为我用的是solr4.x的；

解压、文件拷贝

下载之后用unzip解压，没有安装unzip童鞋安装下；

解压之后讲IKAnalyzer的jar包拷贝到$SOLR_HOME的lib目录下；将IKAnalyzer.conf.xml和stopword.dic放到classes目录下，我这里的classes目录是

[plain] view plaincopy

1. /data/projects/apprank-solr.zqgame.com/WEB-INF/classes  

重点文件说明 

* IKAnalyzer.conf.xml主要的作用是用于自定义分词字典以及停止词字典的指定；

 * stopword.dic是默认自带的停止词，你可以添加自己的停止词到这个文件中；

配置

这里我们只讲IKAnalyzer的分词器配置。其实分词器的配置大同小异，IKAnalyzer具体配置如下；

[plain] view plaincopy

1. <fieldType name="text" class="solr.TextField">     
2.        <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>     
3. </fieldType>    
4. 或者是  
5. <fieldType name="text_ik" class="solr.TextField">   
6.        <analyzer type="index" isMaxWordLength="false" class="org.wltea.analyzer.lucene.IKAnalyzer"/>   
7.        <analyzer type="query" isMaxWordLength="true" class="org.wltea.analyzer.lucene.IKAnalyzer"/>   
8. </fieldType>  

如果是其他的分词器；也是类似，将class修改为对应的分词处理器类就OK；

配置完fieldType之后，我们将要使用到分词器的field的type属性修改为我们新添加fieldType；

[plain] view plaincopy

1. <field name="name" type="text_ik" indexed="true"/>  

这样重启之后，分词器就生效了！来看下效果

自定义分词字典

接下来讲下自定义分词字典，前面我们在重点文件说明中以及提到了IKAnalyzer.cfg.xml的作用；先来看下这个文件的内容

[plain] view plaincopy

1. hadoop@nutch4:/data/projects/clusters/IKAnalyzer$ more IKAnalyzer.cfg.xml   
2. <?xml version="1.0" encoding="UTF-8"?>  
3. <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">    
4. <properties>    
5.         <comment>IK Analyzer 扩展配置</comment>  
6.         <!--用户可以在这里配置自己的扩展字典   
7.         <entry key="ext_dict">ext.dic;</entry>   
8.         -->  
9.         <!--用户可以在这里配置自己的扩展停止词字典-->  
10.         <entry key="ext_stopwords">stopword.dic;</entry>   
11.   
12. </properties>  

配置一目了然，很简单；

我们在IKAnalyzer.cfg.xml的同级目录下添加一个ext.dic的文件，文件内添加自己的分词字典，重启就可以了！

看下我们的自定义分词字典ext.dic

[plain] view plaincopy

1. 天天跑酷  
2. 天天爱消除  
3. 天天  

这里比较简单，我只添加了三个自定义分词，那么来看下效果把！

大家可以看到效果还不错。呵呵！