solr自定义分词器

一、概述
分析器（Analyzer）
分析器是包括两个部分：分词器和过滤器。
分词器顾名思意就是将句子分词单个的词
过滤器就是对分词的结果进行筛选，例如中文中将“的”“呀”这些对句子主体意思影响不大的词删除。英语中类似的就是”is”，”a”等等。
通常在索引和分词两端应该采用同样的分词器。solr自带了一些分词器，如果你需要使用自己公司的分词器，那么就需要修改solr模式（Solr schema）。

定义方式    (1)直接定义分词器    <fieldtype name="nametext" class="solr.TextField">         <analyzer class="org.apache.lucene.analysis.WhitespaceAnalyzer"/>      </fieldtype>     (2)定义分词器工厂和相关过滤器    <fieldtype name="text" class="solr.TextField">        <analyzer type="index">          <tokenizer class="solr.StandardTokenizerFactory"/>          <filter class="solr.StandardFilterFactory"/>          <filter class="solr.LowerCaseFilterFactory"/>        </analyzer>        <analyzer type="query">          <tokenizer class="solr.StandardTokenizerFactory"/>          <filter class="solr.StandardFilterFactory"/>          <filter class="solr.LowerCaseFilterFactory"/>        </analyzer>      </fieldtype>    (3)分词器和分词器工厂混合模式    <fieldtype name="text" class="solr.TextField">        <analyzer type="index">          <tokenizer class="solr.StandardTokenizerFactory"/>          <filter class="solr.StandardFilterFactory"/>          <filter class="solr.LowerCaseFilterFactory"/>        </analyzer>        <analyzer type="query" class="org.apache.lucene.analysis.WhitespaceAnalyzer"/>      </fieldtype>

analyzer：在索引(index)单个文档和查询(query)时都被使用。它检查字段的文本并生成一个token流
tokenizers：读取字符流(Reader)，把字段数据切分成序列化的Token流。它输出作为第一个Filter的输入(一个Analyzer只有一个Tokenizer)。
filters:检查tokens流，并且保持、转换或抛弃，或生成新的Token流。

二、自定义分词器（可以源码中的WhitespaceTokenizerFactory为例）
1、编写分词器工厂

(1)首先必须继承TokenizerFactory类。如：public class MyVerticalLineTokenizerFactory extends TokenizerFactory{}(2)编写自定义工厂类的构造方法（必须重写）        public MyVerticalLineTokenizerFactory(Map<String,String> args) {            //args集合即为配置中的相关属性，如<tokenizer useSmart="false" class="org.wltea.analyzer.lucene.IKTokenizerFactory"/>            //则args的key为class和useSmart，super(args)会删除class。            super(args);            rule = get(args, "rule", RULE_NAMES, RULE_JAVA);//从配置中取出rule配置，并将其从args中删除，默认为RULE_NAMES中的RULE_JAVA            if (!args.isEmpty()) {              throw new IllegalArgumentException("Unknown parameters: " + args);            }      }(3)重写抽象方法。        public Tokenizer create(AttributeFactory factory) {            return new MyVerticalLineTokenizer(factory);        }

2、编写tokenizer

(1)自定义分词器必须继承CharTokenizer类（或者Tokenizer）(2)重写构造方法        public MyVerticalLineTokenizer(AttributeFactory factory) {            super(factory);        }(3)重写isTokenChar方法，该方法控制了分词的字符，如下例中以逗号分隔        protected boolean isTokenChar(int c) {            //逗号的ASCII值为44            return !(c == 44);        }

3、编写filter

(1)自定义filter工厂类必须继承TokenFilterFactory类(2)重写构造方法        public MyTokenizerFilterFactory(Map<String, String> args) {            super(args);        }(3)重写抽象方法。        public TokenStream create(TokenStream input) {            return new MyTokenizerFilter(input);        }(4)自定义filter类必须继承TokenFilter(5)重写构造方法        protected MyTokenizerFilter(TokenStream input) {            super(input);        }(6)重写抽象方法。        public boolean incrementToken() throws IOException {            if (input.incrementToken()) {                charUtils.toUpperCase(termAtt.buffer(), 0, termAtt.length());                return true;            } else                return false;        }

三、solr官方提供的相关分词器

1.solr.KeywordTokenizerFactory不管什么内容，整句当成一个关键字例如: "http://example.com/I-am+example?Text=-Hello" ==> "http://example.com/I-am+example?Text=-Hello"2.solr.LetterTokenizerFactory 根据字母来分词，抛弃非字母的部分   例如："I can't" ==> "I", "can", "t"3.solr.WhitespaceTokenizerFactory 根据空格来分词 例如："I do" ==> "I", "do"4.solr.LowerCaseTokenizerFactory根据字母分词，并将所有字母转换成小写，抛弃非字母的部分例如："I can't" ==> "i", "can", "t"5.solr.StandardTokenizerFactory分词举例：  "I.B.M. cat's can't" ==> ACRONYM: "I.B.M.", APOSTROPHE:"cat's", APOSTROPHE:"can't"说明：该分词器，会自动地给每个分词添加type，以便接下来的对type敏感的过滤器进行处理，目前仅仅只有StandardFilter对Token的类型是敏感的。6.solr.LowerCaseFilterFactory将分词小写，不处理非单词部分例如: "I.B.M.", "Solr" ==> "i.b.m.", "solr".