程序博客网 > 职业规划书大数据师

整合Lucene 4.10.1 与IK Analyzer

来源：互联网 发布：职业规划书大数据师 编辑：程序博客网 时间：2024/04/29 07:29



目录[-]

  • 建立java项目
  • 一个示例：
  • 第二个示例：
  • 参考：
  • 更多资料：
    • 注意，IK Analyzer需要使用其下载列表中的 IK Analyzer 2012FF_hf1.zip，否则在和Lucene 4.10配合使用时会报错。 

    我使用 intellij IDEA 12进行的测试。 


    建立java项目

    建立项目HelloLucene，导入Lucene的几个库。“File”->“Project Structure”->



    将IK Analyzer 2012FF_hf1.zip解压后的源码放入src目录，并将字典和配置文件放入src目录，最终如下：

    一个示例：

    IKAnalyzerDemo.java中是我在其他地方找的一个示例，和IK的官方示例很像。内容如下：

    ?
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    packageorg.apache.lucene.demo;
    importjava.io.IOException;
    importjava.io.StringReader;
     
    importorg.apache.lucene.analysis.Analyzer;
    importorg.apache.lucene.analysis.TokenStream;
    importorg.apache.lucene.analysis.tokenattributes.CharTermAttribute;
    importorg.apache.lucene.document.Document;
    importorg.apache.lucene.document.Field;
    importorg.apache.lucene.index.IndexReader;
    importorg.apache.lucene.index.IndexWriter;
    importorg.apache.lucene.index.IndexWriterConfig;
    importorg.apache.lucene.queryparser.classic.ParseException;
    importorg.apache.lucene.queryparser.classic.QueryParser;
    importorg.apache.lucene.search.IndexSearcher;
    importorg.apache.lucene.search.Query;
    importorg.apache.lucene.search.ScoreDoc;
    importorg.apache.lucene.search.TopDocs;
    importorg.apache.lucene.store.RAMDirectory;
    importorg.apache.lucene.util.Version;
    importorg.wltea.analyzer.lucene.IKAnalyzer;
     
    publicclassIKAnalyzerDemo {
     
        /**
         * @param args
         * @throws IOException
         */
        publicstaticvoid main(String[] args) throwsIOException {
            // TODO Auto-generated method stub
            //建立索引
            String text1 = "IK Analyzer是一个结合词典分词和文法分词的中文分词开源工具包。它使用了全新的正向迭代最细粒度切" +
                    "分算法。";
            String text2 = "中文分词工具包可以和lucene是一起使用的";
            String text3 = "中文分词,你妹";
            String fieldName = "contents";
            Analyzer analyzer = newIKAnalyzer();
            RAMDirectory directory = newRAMDirectory();
            IndexWriterConfig writerConfig = newIndexWriterConfig(Version.LUCENE_34, analyzer);
            IndexWriter indexWriter = newIndexWriter(directory, writerConfig);
            Document document1 = newDocument();
            document1.add(newField("ID","1", Field.Store.YES, Field.Index.NOT_ANALYZED));
            document1.add(newField(fieldName, text1, Field.Store.YES, Field.Index.ANALYZED));
            indexWriter.addDocument(document1);
     
            Document document2 = newDocument();
            document2.add(newField("ID","2", Field.Store.YES, Field.Index.NOT_ANALYZED));
            document2.add(newField(fieldName, text2, Field.Store.YES, Field.Index.ANALYZED));
            indexWriter.addDocument(document2);
     
            Document document3 = newDocument();
            document3.add(newField("ID","2", Field.Store.YES, Field.Index.NOT_ANALYZED));
            document3.add(newField(fieldName, text3, Field.Store.YES, Field.Index.ANALYZED));
            indexWriter.addDocument(document3);
            indexWriter.close();
     
     
            //搜索
            IndexReader indexReader = IndexReader.open(directory);
            IndexSearcher searcher = newIndexSearcher(indexReader);
            String request = "中文分词工具包";
            QueryParser parser = newQueryParser(Version.LUCENE_40, fieldName, analyzer);
            parser.setDefaultOperator(QueryParser.AND_OPERATOR);
            try{
                Query query = parser.parse(request);
                TopDocs topDocs = searcher.search(query, 5);
                System.out.println("命中数:"+topDocs.totalHits);
                ScoreDoc[] docs = topDocs.scoreDocs;
                for(ScoreDoc doc : docs){
                    Document d = searcher.doc(doc.doc);
                    System.out.println("内容:"+d.get(fieldName));
                }
            }catch(ParseException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }finally{
                if(indexReader != null){
                    try{
                        indexReader.close();
                    }catch(IOException e) {
                        e.printStackTrace();
                    }
                }
     
                if(directory != null){
                    try{
                        directory.close();
                    }catch(Exception e) {
                        e.printStackTrace();
                    }
                }
            }
     
        }
     
    }


    这段代码是将索引文件放入内存中（RAMDirectory），运行结果如下： 
    ?
    1
    2
    3
    4
    加载扩展停止词典：stopword.dic
    命中数:2
    内容:中文分词工具包可以和lucene是一起使用的
    内容:IK Analyzer是一个结合词典分词和文法分词的中文分词开源工具包。它使用了全新的正向迭代最细粒度切分算法。



    这段代码有两个问题： 
    1、Field()已经不推荐按使用。 
    2、QueryParser()的使用方式也改变了。 

    下面是更加符合要求的示例。 

    第二个示例：

    MyIndex类用来创建索引： 
    ?
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    importorg.apache.lucene.analysis.Analyzer;
    importorg.apache.lucene.document.*;
    importorg.apache.lucene.document.Field.Store;
    importorg.apache.lucene.index.IndexWriter;
    importorg.apache.lucene.index.IndexWriterConfig;
    importorg.apache.lucene.store.Directory;
    importorg.apache.lucene.store.FSDirectory;
    importorg.apache.lucene.util.Version;
    importorg.wltea.analyzer.lucene.IKAnalyzer;
     
    importjava.io.File;
     
     
    publicclassMyIndex {
        publicstaticvoid main(String[] args) {
            String ID;
            String content;
     
            ID = "1231";
            content = "BuzzFeed has compiled an amazing array of " +
                    "ridiculously strange bridesmaid snapshots, courtesy of Awkward Family Photos. ";
            indexPost(ID, content);
     
            ID = "1234";
            content = "Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包";
            indexPost(ID, content);
     
            ID = "1235";
            content = "Lucene不是一个完整的全文索引应用，而是是一个用Java写的全文索引引擎工具包，它可以方便的嵌入到各种应用中实现";
            indexPost(ID, content);
     
        }
     
        publicstaticvoid indexPost(String ID, String content) {
            File indexDir = newFile("/home/letian/lucene-test/index");
     
            Analyzer analyzer = newIKAnalyzer();
     
            TextField postIdField = newTextField("id", ID, Store.YES);  // 不要用StringField
            TextField postContentField = newTextField("content", content, Store.YES);
     
            Document doc = newDocument();
            doc.add(postIdField);
            doc.add(postContentField);
            IndexWriterConfig iwConfig = newIndexWriterConfig(Version.LUCENE_4_10_1, analyzer);
            iwConfig.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND);
            try{
                Directory fsDirectory = FSDirectory.open(indexDir);
                IndexWriter indexWriter = newIndexWriter(fsDirectory, iwConfig);
                indexWriter.addDocument(doc);
                indexWriter.close();
            }catch(Exception e) {
                e.printStackTrace();
            }
        }
    }



    索引以文件的形式存储在/home/letian/lucene-test/index目录中，Field被替换成了TextField，注意对于全文索引，不要使用StringField。 
    运行上面的代码，创建索引的结果如下： 
     



    MySearch.java是一个搜索的示例： 
    ?
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    importorg.apache.lucene.analysis.Analyzer;
    importorg.apache.lucene.document.Document;
    importorg.apache.lucene.queryparser.classic.QueryParser;
    importorg.apache.lucene.search.*;
    importorg.apache.lucene.store.Directory;
    importorg.apache.lucene.store.FSDirectory;
    importorg.apache.lucene.index.DirectoryReader;
    importorg.wltea.analyzer.lucene.IKAnalyzer;
     
    importjava.io.File;
     
    publicclassMySearch {
        publicstaticvoid main(String[] args) {
            Analyzer analyzer = newIKAnalyzer();
            File indexDir = newFile("/home/letian/lucene-test/index");
            try{
                Directory fsDirectory = FSDirectory.open(indexDir);
                DirectoryReader ireader = DirectoryReader.open(fsDirectory);
                IndexSearcher isearcher = newIndexSearcher(ireader);
     
     
                QueryParser qp = newQueryParser("content", analyzer);         //使用QueryParser查询分析器构造Query对象
                qp.setDefaultOperator(QueryParser.AND_OPERATOR);
                Query query = qp.parse("Lucene");    // 搜索Lucene
                TopDocs topDocs = isearcher.search(query , 5);     //搜索相似度最高的5条记录
                System.out.println("命中:"+ topDocs.totalHits);
                ScoreDoc[] scoreDocs = topDocs.scoreDocs;
                for(inti = 0; i < topDocs.totalHits; i++){
                    Document targetDoc = isearcher.doc(scoreDocs[i].doc);
                    System.out.println("内容:"+ targetDoc.toString());
                }
     
            }catch(Exception e) {
     
            }
        }
    }


    得到的结果如下： 
    ?
    1
    2
    3
    命中:2
    内容:Document<stored,indexed,tokenized<id:1234> stored,indexed,tokenized<content:Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包>>
    内容:Document<stored,indexed,tokenized<id:1235> stored,indexed,tokenized<content:Lucene不是一个完整的全文索引应用，而是是一个用Java写的全文索引引擎工具包，它可以方便的嵌入到各种应用中实现>>

    目录[-]

  • 建立java项目
  • 一个示例：
  • 第二个示例：
  • 参考：
  • 更多资料：
    • 注意，IK Analyzer需要使用其下载列表中的 IK Analyzer 2012FF_hf1.zip，否则在和Lucene 4.10配合使用时会报错。 

    我使用 intellij IDEA 12进行的测试。 


    建立java项目

    建立项目HelloLucene，导入Lucene的几个库。“File”->“Project Structure”->



    将IK Analyzer 2012FF_hf1.zip解压后的源码放入src目录，并将字典和配置文件放入src目录，最终如下：

    一个示例：

    IKAnalyzerDemo.java中是我在其他地方找的一个示例，和IK的官方示例很像。内容如下：

    ?
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    packageorg.apache.lucene.demo;
    importjava.io.IOException;
    importjava.io.StringReader;
     
    importorg.apache.lucene.analysis.Analyzer;
    importorg.apache.lucene.analysis.TokenStream;
    importorg.apache.lucene.analysis.tokenattributes.CharTermAttribute;
    importorg.apache.lucene.document.Document;
    importorg.apache.lucene.document.Field;
    importorg.apache.lucene.index.IndexReader;
    importorg.apache.lucene.index.IndexWriter;
    importorg.apache.lucene.index.IndexWriterConfig;
    importorg.apache.lucene.queryparser.classic.ParseException;
    importorg.apache.lucene.queryparser.classic.QueryParser;
    importorg.apache.lucene.search.IndexSearcher;
    importorg.apache.lucene.search.Query;
    importorg.apache.lucene.search.ScoreDoc;
    importorg.apache.lucene.search.TopDocs;
    importorg.apache.lucene.store.RAMDirectory;
    importorg.apache.lucene.util.Version;
    importorg.wltea.analyzer.lucene.IKAnalyzer;
     
    publicclassIKAnalyzerDemo {
     
        /**
         * @param args
         * @throws IOException
         */
        publicstaticvoid main(String[] args) throwsIOException {
            // TODO Auto-generated method stub
            //建立索引
            String text1 = "IK Analyzer是一个结合词典分词和文法分词的中文分词开源工具包。它使用了全新的正向迭代最细粒度切" +
                    "分算法。";
            String text2 = "中文分词工具包可以和lucene是一起使用的";
            String text3 = "中文分词,你妹";
            String fieldName = "contents";
            Analyzer analyzer = newIKAnalyzer();
            RAMDirectory directory = newRAMDirectory();
            IndexWriterConfig writerConfig = newIndexWriterConfig(Version.LUCENE_34, analyzer);
            IndexWriter indexWriter = newIndexWriter(directory, writerConfig);
            Document document1 = newDocument();
            document1.add(newField("ID","1", Field.Store.YES, Field.Index.NOT_ANALYZED));
            document1.add(newField(fieldName, text1, Field.Store.YES, Field.Index.ANALYZED));
            indexWriter.addDocument(document1);
     
            Document document2 = newDocument();
            document2.add(newField("ID","2", Field.Store.YES, Field.Index.NOT_ANALYZED));
            document2.add(newField(fieldName, text2, Field.Store.YES, Field.Index.ANALYZED));
            indexWriter.addDocument(document2);
     
            Document document3 = newDocument();
            document3.add(newField("ID","2", Field.Store.YES, Field.Index.NOT_ANALYZED));
            document3.add(newField(fieldName, text3, Field.Store.YES, Field.Index.ANALYZED));
            indexWriter.addDocument(document3);
            indexWriter.close();
     
     
            //搜索
            IndexReader indexReader = IndexReader.open(directory);
            IndexSearcher searcher = newIndexSearcher(indexReader);
            String request = "中文分词工具包";
            QueryParser parser = newQueryParser(Version.LUCENE_40, fieldName, analyzer);
            parser.setDefaultOperator(QueryParser.AND_OPERATOR);
            try{
                Query query = parser.parse(request);
                TopDocs topDocs = searcher.search(query, 5);
                System.out.println("命中数:"+topDocs.totalHits);
                ScoreDoc[] docs = topDocs.scoreDocs;
                for(ScoreDoc doc : docs){
                    Document d = searcher.doc(doc.doc);
                    System.out.println("内容:"+d.get(fieldName));
                }
            }catch(ParseException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }finally{
                if(indexReader != null){
                    try{
                        indexReader.close();
                    }catch(IOException e) {
                        e.printStackTrace();
                    }
                }
     
                if(directory != null){
                    try{
                        directory.close();
                    }catch(Exception e) {
                        e.printStackTrace();
                    }
                }
            }
     
        }
     
    }


    这段代码是将索引文件放入内存中（RAMDirectory），运行结果如下： 
    ?
    1
    2
    3
    4
    加载扩展停止词典：stopword.dic
    命中数:2
    内容:中文分词工具包可以和lucene是一起使用的
    内容:IK Analyzer是一个结合词典分词和文法分词的中文分词开源工具包。它使用了全新的正向迭代最细粒度切分算法。



    这段代码有两个问题： 
    1、Field()已经不推荐按使用。 
    2、QueryParser()的使用方式也改变了。 

    下面是更加符合要求的示例。 

    第二个示例：

    MyIndex类用来创建索引： 
    ?
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    importorg.apache.lucene.analysis.Analyzer;
    importorg.apache.lucene.document.*;
    importorg.apache.lucene.document.Field.Store;
    importorg.apache.lucene.index.IndexWriter;
    importorg.apache.lucene.index.IndexWriterConfig;
    importorg.apache.lucene.store.Directory;
    importorg.apache.lucene.store.FSDirectory;
    importorg.apache.lucene.util.Version;
    importorg.wltea.analyzer.lucene.IKAnalyzer;
     
    importjava.io.File;
     
     
    publicclassMyIndex {
        publicstaticvoid main(String[] args) {
            String ID;
            String content;
     
            ID = "1231";
            content = "BuzzFeed has compiled an amazing array of " +
                    "ridiculously strange bridesmaid snapshots, courtesy of Awkward Family Photos. ";
            indexPost(ID, content);
     
            ID = "1234";
            content = "Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包";
            indexPost(ID, content);
     
            ID = "1235";
            content = "Lucene不是一个完整的全文索引应用，而是是一个用Java写的全文索引引擎工具包，它可以方便的嵌入到各种应用中实现";
            indexPost(ID, content);
     
        }
     
        publicstaticvoid indexPost(String ID, String content) {
            File indexDir = newFile("/home/letian/lucene-test/index");
     
            Analyzer analyzer = newIKAnalyzer();
     
            TextField postIdField = newTextField("id", ID, Store.YES);  // 不要用StringField
            TextField postContentField = newTextField("content", content, Store.YES);
     
            Document doc = newDocument();
            doc.add(postIdField);
            doc.add(postContentField);
            IndexWriterConfig iwConfig = newIndexWriterConfig(Version.LUCENE_4_10_1, analyzer);
            iwConfig.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND);
            try{
                Directory fsDirectory = FSDirectory.open(indexDir);
                IndexWriter indexWriter = newIndexWriter(fsDirectory, iwConfig);
                indexWriter.addDocument(doc);
                indexWriter.close();
            }catch(Exception e) {
                e.printStackTrace();
            }
        }
    }



    索引以文件的形式存储在/home/letian/lucene-test/index目录中，Field被替换成了TextField，注意对于全文索引，不要使用StringField。 
    运行上面的代码，创建索引的结果如下： 
     



    MySearch.java是一个搜索的示例： 
    ?
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    importorg.apache.lucene.analysis.Analyzer;
    importorg.apache.lucene.document.Document;
    importorg.apache.lucene.queryparser.classic.QueryParser;
    importorg.apache.lucene.search.*;
    importorg.apache.lucene.store.Directory;
    importorg.apache.lucene.store.FSDirectory;
    importorg.apache.lucene.index.DirectoryReader;
    importorg.wltea.analyzer.lucene.IKAnalyzer;
     
    importjava.io.File;
     
    publicclassMySearch {
        publicstaticvoid main(String[] args) {
            Analyzer analyzer = newIKAnalyzer();
            File indexDir = newFile("/home/letian/lucene-test/index");
            try{
                Directory fsDirectory = FSDirectory.open(indexDir);
                DirectoryReader ireader = DirectoryReader.open(fsDirectory);
                IndexSearcher isearcher = newIndexSearcher(ireader);
     
     
                QueryParser qp = newQueryParser("content", analyzer);         //使用QueryParser查询分析器构造Query对象
                qp.setDefaultOperator(QueryParser.AND_OPERATOR);
                Query query = qp.parse("Lucene");    // 搜索Lucene
                TopDocs topDocs = isearcher.search(query , 5);     //搜索相似度最高的5条记录
                System.out.println("命中:"+ topDocs.totalHits);
                ScoreDoc[] scoreDocs = topDocs.scoreDocs;
                for(inti = 0; i < topDocs.totalHits; i++){
                    Document targetDoc = isearcher.doc(scoreDocs[i].doc);
                    System.out.println("内容:"+ targetDoc.toString());
                }
     
            }catch(Exception e) {
     
            }
        }
    }


    得到的结果如下： 
    ?
    1
    2
    3
    命中:2
    内容:Document<stored,indexed,tokenized<id:1234> stored,indexed,tokenized<content:Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包>>
    内容:Document<stored,indexed,tokenized<id:1235> stored,indexed,tokenized<content:Lucene不是一个完整的全文索引应用，而是是一个用Java写的全文索引引擎工具包，它可以方便的嵌入到各种应用中实现>>
    0 0
    职业规划书大数据师 职业规划书大数据师
    原创粉丝点击
    热门IT博客
    文明5 mac 破解版文明5 mac 破解版
    手机windows live手机windows live
    手机有偿聊天软件
    朋友圈视频编辑软件
    苹果电脑mac系统怎么用
    ac控制器软件
    淘宝抢券技巧
    电脑p图软件
    花儿与少年 知乎
    艺考生软件
    大本升级数据
    libz.so.1 apache
    家长控制软件破解版
    一个钻淘宝店铺多少钱
    java cad二次开发
    时时彩超神平刷软件
    java maven 依赖jar包
    求visio2007软件下载
    网络枪手
    galgame推荐知乎
    热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 作文格子纸word下载 作文格子纸模板 纸蝴蝶结 如何正确饲养魔尊格子纸 如何正确饲养魔尊by格子纸 红格子 格子衬衫配什么裙子 百万格子网 格子外衣 格子衣 格子面料 格子裤子 格子上衣 格子短裙 格子女上衣 格子鞋 格子男裤 格子女裤 格子呢大衣 格子衬衣女 格子卫衣 格子短外套 女格子外套 格子铅笔裤 格子外套男 格子蝴蝶结 红色格子衬衫 格子衬衣女装 女款格子衬衫 男士格子衬衫 女装格子外套 格子毛呢大衣 格子衬衣配什么裤子 格子大衣怎么搭配 格子呢子外套 格子风衣搭配 黑白格子大衣 蓝格子衬衫配什么裤子 棉麻格子衬衫女 韩版格子外套 品牌格子衬衫

    程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里