用Lucene索引数据库
来源:互联网 发布:代码优化 编辑:程序博客网 时间:2024/05/18 01:52
1.写一段传统的JDBC程序,将每条的用户信息从数据库读取出来
2.针对每条用户记录,建立一个lucene document
Document doc = new Document();
并根据你的需要,将用户信息的各个字段对应luncene document中的field 进行添加,如:
doc.add(new Field("NAME","USERNAME",Field.Store.YES,Field.Index.UN_TOKENIZED));
然后将该条doc加入到索引中, 如: luceneWriter.addDocument(doc);
这样就建立了lucene的索引库
3.编写对索引库的搜索程序(看lucene文档),通过对lucene的索引库的查找,你可以快速找到对应记录的ID
4.通过ID到数据库中查找相关记录
用Lucene索引数据库
Lucene,作为一种全文搜索的辅助工具,为我们进行条件搜索,无论是像Google,Baidu之类的搜索引 擎,还是论坛中的搜索功能,还是其它C/S架构的搜索,都带来了极大的便利和比较高的效率。本文主要是利用Lucene对MS Sql Server 2000进行建立索引,然后进行全文索引。至于数据库的内容,可以是网页的内容,还是其它的。本文中数据库的内容是图书馆管理系统中的某个作者表- Authors表。
因为考虑到篇幅的问题,所以该文不会讲的很详细,也不可能讲的很深。
本文以这样的结构进行:
1.介绍数据库中Authors表的结构
2.为数据库建立索引
3.为数据库建立查询功能
4.在web界面下进行查询并显示结果
1.介绍数据库中Authors表的结构
字段名称 字段类型 字段含义
Au_id Varchar(11) 作者号
Au_name Varchar(60) 作者名
Phone Char(12) 电话号码
Address Varchar(40) 地址
City Varchar(20) 城市
State Char(2) 省份
Zip Char(5) 邮编
contract Bit(1) 外键(关系不大)
表中的部分内容:
2.为数据库建立索引
首先建立一个类TestLucene.java。这个类就是对数据库进行建立索引,编写查询条件等。
当然,最开始就是建立数据库连接。连接代码这里就省略了。^_^
接着,新建一个方法getResutl(String),它返回的是数据库表Authors的内容。具体代码如下:
public ResultSet getResult(String sql){ try{ Statement stmt = conn.createStatement(); ResultSet rs = stmt.executeQuery(sql); return rs; } catch(SQLException e){ System.out.println(e); } return null; }然后,为数据库建立索引。
首先要定义一个IndexWriter(),它是将索引写进Lucene自己的数据库中,它存放的位置是有你自己定义的。在定义IndexWriter 是需要指定它的分析器。Lucene自己自带有几个分析器,例如:StandarAnalyzer(),SimpleAnalyzer(), StopAnalyzer()等。它作用是对文本进行分析,判断如何进行切词。
接着,要定义一个Document。Document相当于二维表中一行数据一样。Document里包含的是Field字段,Field相当于数据库中一列,也就是一个属性,一个字段。
最后应该对IndexWriter进行优化,方法很简单,就是writer.optimize().
具体代码如下:
public void Index(ResultSet rs){ try{ IndexWriter writer = new IndexWriter("d:/index/", getAnalyzer(), true); while(rs.next()){ Document doc=new Document(); doc.add(Field.Keyword("id",rs.getString("au_id"))); doc.add(Field.Text("name",rs.getString("au_name"))); doc.add(Field.UnIndexed("address",rs.getString("address"))); doc.add(Field.UnIndexed("phone",rs.getString("phone"))); doc.add(Field.Text("City",rs.getString("city"))); writer.addDocument(doc); } writer.optimize(); writer.close(); } catch(IOException e){ System.out.println(e); } catch(SQLException e){ System.out.println(e); } } public Analyzer getAnalyzer(){ return new StandardAnalyzer(); }3.为数据库建立查询功能
在类TestLucene中建立一个新的方法searcher(String),它返回的是一个搜索的结构集,相当于数据库中的ResultSet一样。它代的参数是你要查询的内容。这里,我把要查询的字段写死了。你可以在添加一个参数表示要查询的字段。
这里主要有两个对象IndexSearcher和Query。IndexSearcher是找到索引数据库,Query是处理搜索,它包含了三个参数:查询内容,查询字段,分析器。
具体代码如下:
public Hits seacher(String queryString){ Hits hits=null;; try{ IndexSearcher is = new IndexSearcher("D:/index/"); Query query=QueryParser.parse(queryString,"City",getAnalyzer()); hits=is.search(query); }catch(Exception e){ System.out.print(e); } return hits; }4.在web界面下进行查询并显示结果
这里建立一个Jsp页面TestLucene.jsp进行搜索。
在TestLucene.jsp页面中首先引入类
<%@ page import="lucenetest.LucentTest"%>
<%@ page import="org.apache.lucene.search.*,org.apache.lucene.document.*" %>
然后定义一个LuceneTest对象,获取查询结果集:
LucentTest lucent=new LucentTest();
Hits hits=lucent.seacher(request.getParameter("queryString"));
定义一个Form,建立一个查询环境:
<form action="TestLucene.jsp">
<input type="text" name="queryString"/>
<input type="submit" value="搜索"/>
</form>
显示查询结果:
<table>
<%if(hits!=null){%>
<tr>
<td>作者号</td>
<td>作者名</td>
<td>地址</td>
<td>电话号码</td>
</tr>
<% for(int i=0;i<hits.length();i++){
Document doc=hits.doc(i);
%>
<tr>
<td><%=doc.get("id") %></td>
<td><%=doc.get("name") %></td>
<td><%=doc.get("address") %></td>
<td><%=doc.get("phone") %></td>
</tr>
<% }}%>
</table>
用Lucene-1.3-final为网站数据库建立索引
下是看了lnboy写的《用lucene建立大富翁论坛的全文检索》后写的测试代码。
为数据库cwb.mdb建立全文索引的indexdb.jsp
<%@ page import ="org.apache.lucene.analysis.standard.*" %> <%@ page import="org.apache.lucene.index.*" %> <%@ page import="org.apache.lucene.document.*" %> <%@ page import="lucene.*" %> <%@ page contentType="text/html; charset=GBK" %> <% long start = System.currentTimeMillis(); String aa=getServletContext().getRealPath("/")+"index"; IndexWriter writer = new IndexWriter(aa, new StandardAnalyzer(), true); try { Class.forName("sun.jdbc.odbc.JdbcOdbcDriver").newInstance(); String url = "jdbc:odbc:driver={Microsoft Access Driver (*.mdb)} ;DBQ=d://Tomcat 5.0//webapps//zz3zcwbwebhome//WEB-INF//cwb.mdb"; Connection conn = DriverManager.getConnection(url); Statement stmt = conn.createStatement(); ResultSet rs = stmt.executeQuery( "select Article_id,Article_name,Article_intro from Article"); while (rs.next()) { writer.addDocument(mydocument.Document(rs.getString("Article_id"), rs.getString("Article_name"),rs.getString("Article_intro"))); } rs.close(); stmt.close(); conn.close(); out.println("索引创建完毕"); writer.optimize(); writer.close(); out.print(System.currentTimeMillis() - start); out.println(" total milliseconds"); } catch (Exception e) { out.println(" 出错了 " + e.getClass() + "/n 错误信息为: " + e.getMessage()); } %>用于显示查询结果的aftsearch.jsp
<%@ page import="org.apache.lucene.search.*" %> <%@ page import="org.apache.lucene.document.*" %> <%@ page import="lucene.*" %> <%@ page import = "org.apache.lucene.analysis.standard.*" %> <%@ page import="org.apache.lucene.queryParser.QueryParser" %> <%@ page contentType="text/html; charset=GBK" %> <% String keyword=request.getParameter("keyword"); keyword=new String(keyword.getBytes("ISO8859_1")); out.println(keyword); try { String aa=getServletContext().getRealPath("/")+"index"; Searcher searcher = new IndexSearcher(aa); Query query = QueryParser.parse(keyword, "Article_name", new StandardAnalyzer()); out.println("正在查找: " + query.toString("Article_name")+"<br>"); Hits hits = searcher.search(query); System.out.println(hits.length() + " total matching documents"); java.text.NumberFormat format = java.text.NumberFormat.getNumberInstance(); for (int i = 0; i < hits.length(); i++) { //开始输出查询结果 Document doc = hits.doc(i); out.println(doc.get("Article_id")); out.println("准确度为:" + format.format(hits.score(i) * 100.0) + "%"); out.println(doc.get("Article_name")+"<br>"); // out.println(doc.get("Article_intro")); } }catch (Exception e) { out.println(" 出错了 " + e.getClass() +"/n 错误信息为: " + e.getMessage()); } %>辅助类:
package lucene; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.document.DateField; public class mydocument { public static Document Document(String Article_id,String Article_name,String Article_intro){ Document doc = new Document(); doc.add(Field.Keyword("Article_id", Article_id)); doc.add(Field.Text("Article_name", Article_name)); doc.add(Field.Text("Article_intro", Article_intro)); return doc; } public mydocument() { } }用lucene为数据库搜索建立增量索引
用 lucene 建立索引不可能每次都重新开始建立,而是按照新增加的记录,一次次的递增
建立索引的IndexWriter类,有三个参数
IndexWriter writer = new IndexWriter(path, new StandardAnalyzer(),isEmpty);
其中第三个参数是bool型的,指定它可以确定是增量索引,还是重建索引.
对于从数据库中读取的记录,譬如要为文章建立索引,我们可以记录文章的id号,然后下次再次建立索引的时候读取存下的id号,从此id后往下继续增加索引,逻辑如下.
建立增量索引,主要代码如下
public void createIndex(String path){ Statement myStatement = null; String articleId="0"; //读取文件,获得文章id号码,这里只存最后一篇索引的文章id try { FileReader fr = new FileReader("**.txt"); BufferedReader br = new BufferedReader(fr); articleId=br.readLine(); if(articleId==null||articleId=="") articleId="0"; br.close(); fr.close(); } catch (IOException e) { System.out.println("error343!"); e.printStackTrace(); } try { //sql语句,根据id读取下面的内容 String sqlText = "*****"+articleId; myStatement = conn.createStatement(); ResultSet rs = myStatement.executeQuery(sqlText); //写索引 while (rs.next()) { Document doc = new Document(); doc.add(Field.Keyword("**", DateAdded)); doc.add(Field.Keyword("**", articleid)); doc.add(Field.Text("**", URL)); doc.add(Field.Text("**", Content)); doc.add(Field.Text("**", Title)); try{ writer.addDocument(doc); } catch(IOException e){ e.printStackTrace(); } //将我索引的最后一篇文章的id写入文件 try { FileWriter fw = new FileWriter("**.txt"); PrintWriter out = new PrintWriter(fw); out.close(); fw.close(); } catch (IOException e) { e.printStackTrace(); } } ind.Close(); System.out.println("ok.end"); } catch (SQLException e){ e.printStackTrace(); } finally { //数据库关闭操作 } }然后控制是都建立增量索引的时候根据能否都到id值来设置IndexWriter的第三个参数为true 或者是false
boolean isEmpty = true; try { FileReader fr = new FileReader("**.txt"); BufferedReader br = new BufferedReader(fr); if(br.readLine()!= null) { isEmpty = false; } br.close(); fr.close(); } catch (IOException e) { e.printStackTrace(); } writer = new IndexWriter(Directory, new StandardAnalyzer(),isEmpty)
来源:http://blog.csdn.net/z69183787/article/details/47912073
- 用Lucene索引数据库
- 用Lucene索引数据库
- 用Lucene索引数据库
- 用Lucene索引数据库
- 用Lucene索引数据库
- 用Lucene索引数据库
- 用Lucene索引数据库 .
- 用Lucene索引数据库
- 用Lucene索引数据库
- 1.用lucene为数据库建索引
- Lucene 索引数据库
- lucene 检索数据库索引
- Lucene索引数据库实践
- Lucene索引数据库实践
- lucene索引数据库查询
- lucene.net 数据库全文索引
- Lucene索引数据库 Indexing Database
- Lucene为数据库建立索引
- opencv-python(10):图像平滑
- 原型链模式
- 深入理解java虚拟机-java内存区域
- VMware虚拟机 Ubuntu 16.04 安装 VMware Tools
- innerHTML和value属性的区别
- 用Lucene索引数据库
- 继承自DataGridView的类在构造函数中创建Column后,被Designer重复创建的问题
- 图像分基础习题1
- 理解存储
- JsonPath —— JSON 解析神器
- 常用的c语言操作符
- makefile的基本格式
- Elasticsearch5.4集群(一)安装部署
- MapReduce两种执行环境的搭建和测试