程序博客网 > 淘宝的兄弟翡翠假货

Lucene的使用

来源：互联网 发布：淘宝的兄弟翡翠假货 编辑：程序博客网 时间：2024/05/22 06:06

 

如果你想快速查询你磁盘上文件，或查询邮件、Web页面，甚至查询存于数据库的数据，你都可以借助于Lucene来完成。但是要完成查询就必须先建立索引。首先从Lucene API说起：
1、 Lucene API（核心操作类）
IndexWriter创建和维护索引（向原索引中添加新Document，设置合并策略、优化等）FSDirectory最主要用来存储索引文件的类，表示将索引文件存储到文件系统Document索引和查询的原子单元，一个Document包含一系列FieldIndexReader一个抽象类，提供了访问索引的接口，当然访问索引也可以通过它的子类来完成Analyzer分词类，它有一系列子类，都是用来将文本解析成TokenStreamSearcher用于查询索引的核心类
2、创建索引
Java代码
  1. Directory dir = FSDirectory.open(new File("lucene.blog"));
  2. IndexWriter writer = new IndexWriter(dir,new StandardAnalyzer(Version.LUCENE_29),true, IndexWriter.MaxFieldLength.UNLIMITED);
  3. Document doc = new Document();
  4. doc.add(new Field("id","101", Field.Store.YES, Field.Index.NO));
  5. doc.add(new Field("name","kobe bryant", Field.Store.YES, Field.Index.NO));
  6. writer.addDocument(doc);
  7. writer.optimize();
  8. writer.close();
Java代码 复制代码 收藏代码
  1. Directory dir = FSDirectory.open(new File("lucene.blog"));
  2. IndexWriter writer = new IndexWriter(dir,new StandardAnalyzer(Version.LUCENE_29),true, IndexWriter.MaxFieldLength.UNLIMITED);
  3. Document doc = new Document();
  4. doc.add(new Field("id","101", Field.Store.YES, Field.Index.NO));
  5. doc.add(new Field("name","kobe bryant", Field.Store.YES, Field.Index.NO));
  6. writer.addDocument(doc);
  7. writer.optimize();
  8. writer.close();
如上所示将索引文件存储于工作目录下lucene.blog文件夹 ，创建了Document，向Document里添加了两个Field id和name，然后使用IndexWriter的addDocument(Document)方法将其添加到索引目录下的索引文件中，然后使用IndexWriter的optimize()方法进行对索引文件优化，最后关闭IndexWriter;
3、通过IndexWriter删除索引中Document
Java代码
  1. Directory dir = FSDirectory.open(new File("lucene.blog"));
  2. IndexWriter writer = new IndexWriter(dir,new StandardAnalyzer(Version.LUCENE_29),true, IndexWriter.MaxFieldLength.UNLIMITED);
  3. writer.deleteDocuments(new Term("id","101"));
  4. writer.commit();
  5. writer.close();
Java代码 复制代码 收藏代码
  1. Directory dir = FSDirectory.open(new File("lucene.blog"));
  2. IndexWriter writer = new IndexWriter(dir,new StandardAnalyzer(Version.LUCENE_29),true, IndexWriter.MaxFieldLength.UNLIMITED);
  3. writer.deleteDocuments(new Term("id","101"));
  4. writer.commit();
  5. writer.close();
如上先打开索引位置（工作目录下lucene.blog文件夹 ），然后直接调运IndexWriter的deleteDocuments(Term)方法删除上面2中创建的Document，注意必须调运commit()方法，上面2中之所以没有commit()是因为optimize()方法中存在默认Commit方法；
4、通过IndexWriter更新索引中Document
Java代码
  1. Directory dir = FSDirectory.open(new File("lucene.blog"));
  2. IndexWriter writer = new IndexWriter(dir,new StandardAnalyzer(Version.LUCENE_29),true, IndexWriter.MaxFieldLength.UNLIMITED);
  3. Document doc = new Document();
  4. doc.add(new Field("id","101", Field.Store.YES, Field.Index.ANALYZED)); //Field.Index.ANALYZED
  5. doc.add(new Field("name","kylin soong", Field.Store.YES, Field.Index.ANALYZED));
  6. writer.updateDocument(new Term("id","101"), doc);
  7. writer.commit();
  8. writer.close();
Java代码 复制代码 收藏代码
  1. Directory dir = FSDirectory.open(new File("lucene.blog"));
  2. IndexWriter writer = new IndexWriter(dir,new StandardAnalyzer(Version.LUCENE_29),true, IndexWriter.MaxFieldLength.UNLIMITED);
  3. Document doc = new Document();
  4. doc.add(new Field("id","101", Field.Store.YES, Field.Index.NO));
  5. doc.add(new Field("name","kylin soong", Field.Store.YES, Field.Index.NO));
  6. writer.updateDocument(new Term("id","101"), doc);
  7. writer.commit();
  8. writer.close();
通过IndexWriter的updateDocument(Term, Document)来完成更新，具体是将包含Term("id", "101")的Document删除，然后将传入的Document添加到索引文件；
5、Field选项意义
Java代码
  1. Field field = new Field(
  2. "101",
  3. "kobe bryant",
  4. Field.Store.YES,
  5. Field.Index.ANALYZED,
  6. Field.TermVector.YES);
Java代码 复制代码 收藏代码
  1. Field field = new Field(
  2. "101",
  3. "kobe bryant",
  4. Field.Store.YES,
  5. Field.Index.ANALYZED,
  6. Field.TermVector.YES);
如上代码显示Field各属性设置情况，下面简单说明这些属性选项的意义
Field.Store.*决定是否将Field的完全值进行存储，注意：不能将整个文本内容存储，这样导致索引文件过大
Field.Store.YES存储，一旦存储，你可以用完整的Field的完全值作为查询条件查询（id:101）Field.Store.NO不存储
Field.Index.*控制Field的值是否可查询通过索引成的索引文件
Field.Index.ANALYZED用Analyzer将Field的值分词成多个TokenField.Index.NOT_ANALYZED不对Field的值分词，将Field的值作为一个Token处理Field.Index.ANALYZED_NO_NORMS类似ANALYZED，但不存常规信息到索引文件Field.Index.NOT_ANALYZED_NO_NORMS类似NOT_ANALYZED，但不存常规信息到索引文件Field.Index.NO不进行索引，Field的值不可被搜索
如果你想要检索出唯一的terms在搜索时，或对搜索结果进行加亮处理等操作是Field.TermVector.*是必要的
Field.TermVector.YES记录唯一的terms，当重复发生时记下重复数，在不做额外处理Field.TermVector.WITH_POSITIONS在上面基础上记录下位置Field.TermVector.WITH_OFFSETS在TermVector.YES基础上记录偏移量Field.TermVector.WITH_POSITIONS_OFFSETS在TermVector.YES基础上记录偏移量和位置Field.TermVector.NO不做任何处理
6、索引numbers
Java代码
  1. Document doc = new Document();
  2. NumericField field1 = new NumericField("id");
  3. field1.setIntValue(101);
  4. doc.add(field1);
  5. NumericField field2 = new NumericField("price");
  6. field1.setDoubleValue(123.50);
  7. doc.add(field2);
Java代码 复制代码 收藏代码
  1. Document doc = new Document();
  2. NumericField field1 = new NumericField("id");
  3. field1.setIntValue(101);
  4. doc.add(field1);
  5. NumericField field2 = new NumericField("price");
  6. field1.setDoubleValue(123.50);
  7. doc.add(field2);
如上所示为索引numbers方法；
7、索引Date和Time
Java代码
  1. Document doc = new Document();
  2. doc.add(new NumericField("timestamp").setLongValue(new Date().getTime()));
  3. doc.add(new NumericField("day").setIntValue((int) (new Date().getTime()/24/3600)));
  4. Calendar cal = Calendar.getInstance();
  5. cal.setTime(new Date());
  6. doc.add(new NumericField("dayOfMonth").setIntValue(cal.get(Calendar.DAY_OF_MONTH)));
Java代码 复制代码 收藏代码
  1. Document doc = new Document();
  2. doc.add(new NumericField("timestamp").setLongValue(new Date().getTime()));
  3. doc.add(new NumericField("day").setIntValue((int) (new Date().getTime()/24/3600)));
  4. Calendar cal = Calendar.getInstance();
  5. cal.setTime(new Date());
  6. doc.add(new NumericField("dayOfMonth").setIntValue(cal.get(Calendar.DAY_OF_MONTH)));
实质上对Date和Time的处理是将Date和Time转化为numbers来处理，注意：当然也可以把Date和Time以及上面的numbers当做字符串来处理，不过这样影响查询；
8、IndexWriter的其他同法
Java代码
  1. Directory dir = FSDirectory.open(new File("lucene.blog"));
  2. IndexWriter writer = new IndexWriter(dir,new StandardAnalyzer(Version.LUCENE_29),true, IndexWriter.MaxFieldLength.LIMITED);
  3. writer.setMaxFieldLength(1);
  4. MergePolicy policy = new LogByteSizeMergePolicy(writer);
  5. writer.setMergePolicy(policy);
  6. writer.optimize(5);
  7. writer.close();
Java代码 复制代码 收藏代码
  1. Directory dir = FSDirectory.open(new File("lucene.blog"));
  2. IndexWriter writer = new IndexWriter(dir,new StandardAnalyzer(Version.LUCENE_29),true, IndexWriter.MaxFieldLength.LIMITED);
  3. writer.setMaxFieldLength(1);
  4. MergePolicy policy = new LogByteSizeMergePolicy(writer);
  5. writer.setMergePolicy(policy);
  6. writer.optimize(5);
  7. writer.close();
如上IndexWriter.MaxFieldLength.LIMITED设定了Field截取功能，如果Field值相当长，而你只想索引Field值的前固定个字符，可以用Field截取功能来实现；IndexWriter的setMergePolicy(policy)，可以设定合并策略，另外optimize(int maxNumSegments)方法可以通过参数设定优化成的Segment个数；
9、根据确定的term查询
Java代码
  1. IndexReader reader = IndexReader.open(FSDirectory.open(new File("lucene.blog")),true);
  2. IndexSearcher searcher = new IndexSearcher(reader);
  3. Term term = new Term("id","101");
  4. Query query = new TermQuery(term);
  5. TopDocs topDocs = searcher.search(query, 10);
  6. System.out.println(topDocs.totalHits);
  7. ScoreDoc[] docs = topDocs.scoreDocs;
  8. System.out.println(docs[0].doc +" " + docs[0].score);
  9. Document doc = searcher.doc(docs[0].doc);
  10. System.out.println(doc.get("id"));
Java代码 复制代码 收藏代码
  1. IndexReader reader = IndexReader.open(FSDirectory.open(new File("lucene.blog")),true);
  2. IndexSearcher searcher = new IndexSearcher(reader);
  3. Term term = new Term("id","101");
  4. Query query = new TermQuery(term);
  5. TopDocs topDocs = searcher.search(query, 10);
  6. System.out.println(topDocs.totalHits);
  7. ScoreDoc[] docs = topDocs.scoreDocs;
  8. System.out.println(docs[0].doc +" " + docs[0].score);
  9. Document doc = searcher.doc(docs[0].doc);
  10. System.out.println(doc.get("id"));
如上示例显示了一个Lucene查询的基本方法，IndexSearcher是核心的查询类，IndexReader 可以读取索引文件，IndexSearcher有一系列重载的Search（）方法，可以根据传入不同参数进行不同查询处理，ScoreDoc数组保存查询结果，和相关得分；
10、根据QueryParser查询，并收集查询结果
Java代码
  1. IndexReader reader = IndexReader.open(FSDirectory.open(new File("lucene.blog")),true);
  2. IndexSearcher searcher = new IndexSearcher(reader);
  3. Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_29);
  4. QueryParser parser = new QueryParser(Version.LUCENE_29,"name",analyzer);
  5. String queryString = "kobe";
  6. Query query = parser.parse(queryString);
  7. TopScoreDocCollector collector = TopScoreDocCollector.create(10,false);
  8. searcher.search(query, collector);
  9. ScoreDoc[] hits = collector.topDocs().scoreDocs;
  10. for(int i =0 ; i < hits.length ; i ++) {
  11. Document doc = searcher.doc(hits[i].doc);
  12. String name = doc.get("name");
  13. if (name !=null) {
  14. System.out.println(name);
  15. }
  16. }
Java代码 复制代码 收藏代码
  1. IndexReader reader = IndexReader.open(FSDirectory.open(new File("lucene.blog")),true);
  2. IndexSearcher searcher = new IndexSearcher(reader);
  3. Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_29);
  4. QueryParser parser = new QueryParser(Version.LUCENE_29,"name",analyzer);
  5. String queryString = "kobe";
  6. Query query = parser.parse(queryString);
  7. TopScoreDocCollector collector = TopScoreDocCollector.create(10,false);
  8. searcher.search(query, collector);
  9. ScoreDoc[] hits = collector.topDocs().scoreDocs;
  10. for(int i =0 ; i < hits.length ; i ++) {
  11. Document doc = searcher.doc(hits[i].doc);
  12. String name = doc.get("name");
  13. if (name != null) {
  14. System.out.println(name);
  15. }
  16. }
如上为一个使用QueryParser查询关键字“kobe”的实例，另外还对查询结果进行了收集
11、使用Lucene图形化工具Luke来操作索引
Luke使用非常简单：
下载：http://code.google.com/p/luke/ 点击下载最新版本，下载完成直接点击下载的jar包，就可以进入图形化操作界面，选择索引的目录就可以对索引进行图形化操作
淘宝的兄弟翡翠假货 淘宝的兄弟翡翠假货
原创粉丝点击
热门IT博客
詹姆斯生死战数据詹姆斯生死战数据
淘宝导航自定义代码淘宝导航自定义代码
重庆it
想你所想 知你所需
淘宝已评的五星在哪找
阿里云蜘蛛池
矩阵相乘的共轭转置
三菱plcrs485通讯编程
淘宝代销如何刷单
淘宝卖家电话隐藏
大数据查找算法
淘宝哪家零食店比较好
网络管理pdf
html5 幸运大转盘源码
vb释放资源文件
cms哪个好
产品设计软件 axure
中石油48元 知乎
为什么网络是脆弱的
pc版mac系统下载
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 qq绿钻免费领 豪华绿钻领取7天二维码 绿钻多少钱 qq绿钻充值 2018免领取绿钻贵族15天体验 一元体验绿钻 免费领取qq绿钻 绿钻怎么养才旺盛 绿钻图片 刷绿钻 豪华绿钻有什么用 绿钻开通 绿钻活动年费40元 绿钻体验卡领取 开通绿钻 免费绿钻 普通绿钻 绿钻活动20元6个月 绿钻成长值查询 绿钻豪华版 绿钻花养殖方法 绿钻植物 绿钻怎么刷 绿钻花图片 qq绿钻有什么用 绿钻怎么升级 绿钻花 绿钻2代多少钱一包 绿钻代码 绿钻成长值 绿钻烟 绿钻抽奖 花卉绿钻 钻石绿钻 qq送绿钻 qq 绿钻 qq绿钻怎么取消 qq绿钻红钻 绿间真太郎 云间绿大地 云间绿大地别墅

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里