lucene-同义词分析器

这个分析器用SynonymFilter过滤器对StandardAnalyzer类进行封装,当向这个过滤器输入各个项时,会对这些项进行缓冲,并使用栈存储这些项的同义词

public class SynonymFilter extends TokenFilter{

    publicstatic final String TOKEN_TYPE_SYNONYM="SYNONYM";

   

    privateStack synonymStack;

    privateSynonynEngine engine;

    

    publicSynonymFilter(TokenStream in,SynonymEngine engine){

         super(in);

         synonymStack=new Stack();//缓存同义词

         this.engine=engine;

    }

   

    publicTOken next() throws IOException{

        if (synonymStack.size()>0){//如何还有当前词的同义词没有输出,则输出

              return (Token) synonymStack.pop();

        }

        Token token=input.next();//读取新词

        if (token==null) {

            return null;

        }

        

        addAliasesToStack(token);//存储新词的同义词

         returntoken;

    }

 

   private voidaddAliasesToStack(Token token) throws IOException{

          String[] synonyms=engine.getSynonyms(token.termText());

          if (synonyms==mull) return;

          for (int i=0;i<synonyms.length;i++){

               Token synToken=newToken(synonyms[i],token.startOffset(),token.endOffset(),TOKEN_TYPE_SYNONYM);

          synToken.setPositionIncrement(0);

         synonymStack.push(synToken);   

           }

   }

以下这个接口是关键,可以自由实现,目的是返回s的同义词数组

public interface SynonymEngine{

    String[] getSynonyms(String s) throws IOException;

}

对于这个接口要小心使用,在查询时不必列出所有的同义词,如下例

Query query=QueryParser.parse("/"foxjumps/"","content",synonymAnalyzer);

Hits hits=searcher.search(query);

是会出错的,找不到任何结果,因为QueryParser不会区别位置增量,所以位置增量为0这一个表明同义的特征无法体现,会将"foxjumps"直接加上同义词解释为"fox jumps hops leaps"