【Lucene3.6.2入门系列】第14节_SolrJ操作索引和搜索文档以及整合中文分词

来源：互联网发布：java图像压缩算法编辑：程序博客网时间：2024/04/28 12:25

[java] view plaincopyprint?
package com.jadyer.solrj;  
  
import java.util.ArrayList;  
import java.util.List;  
  
import org.apache.solr.client.solrj.SolrQuery;  
import org.apache.solr.client.solrj.SolrServer;  
import org.apache.solr.client.solrj.SolrServerException;  
import org.apache.solr.client.solrj.impl.HttpSolrServer;  
import org.apache.solr.client.solrj.response.QueryResponse;  
import org.apache.solr.common.SolrDocument;  
import org.apache.solr.common.SolrDocumentList;  
import org.apache.solr.common.SolrInputDocument;  
  
import com.jadyer.model.MyMessage;  
  
/** 
 * 【Lucene3.6.2入门系列】第14节_SolrJ操作索引和搜索文档以及整合中文分词 
 * @see ------------------------------------------------------------------------------------------------------------------------- 
 * @see 通过schema.xml使得Solr与中文分词进行整合 
 * @see 0)默认solr定义的大量域都不支持中文分词,如果我们要加中文分词的支持,那么首先要加的就是<types><fieldType/></types> 
 * @see   下面以MMSeg4j-1.8.5为例,描述Solr与中文分词器的整合方式(其核心就是在schema.xml中配置fieldType) 
 * @see   关于MMSeg4j的介绍,详见http://blog.csdn.net/jadyer/article/details/10049525 
 * @see 1)将mmseg4j-all-1.8.5.jar拷到D:\Develop\apache-solr-3.6.2\server\solr\WEB-INF\lib\文件夹中 
 * @see 2)新建D:\Develop\apache-solr-3.6.2\home\dic\文件夹 
 * @see 3)将mmseg4j-1.8.5.zip\data\文件夹中的词典文件拷贝到D:\Develop\apache-solr-3.6.2\home\dic\ 
 * @see 4)在schame.xml中添加中文分词的fieldType定义 
 * @see   通常中文分词的工具包中都会提供README.txt文件,里面会描述扩展solr时需要配置的fieldType 
 * @see   同理将mmseg4j-1.8.5.zip中的README.txt打开,拷贝里面描述的三个fieldType到schema.xml中第68行 
 * @see 5)确认并修改这三个fileType中的dicPath属性值为"dic"(这里的dic其实指的就是第二步新建的dic文件夹) 
 * @see 6)最后测试一下中文分词效果 
 * @see   在solr控制台上(http://127.0.0.1:8088/solr/admin/)点击蓝色粗体的[ANALYSIS] 
 * @see   然后在Field Analysis下面将Field下拉框修改为type,并在右面文本框输入text_general(即schema.xml中定义的fieldType) 
 * @see   接着在Field Value(Index)右面的文本框中输入测试文本'我来自中国黑龙江省哈尔滨市巴彦县兴隆镇长春乡民权村4队' 
 * @see   再点击下方的Analyze按钮,我们就会发现text_general的分词情况了,然后我们再修改text_general为刚才自定义的textComplex,就看到效果啦 
 * @see   另外也可以勾选Field Value(Index)下面的verbose output选框,这样也会将分词的各个属性(position,Offset,type等等)一并显示出来 
 * @see ------------------------------------------------------------------------------------------------------------------------- 
 * @see 本例中合计用到9个jar,如下所示 
 * @see apache-solr-core-3.6.2.jar 
 * @see apache-solr-solrj-3.6.2.jar 
 * @see commons-codec-1.6.jar 
 * @see commons-io-2.1.jar 
 * @see httpclient-4.1.3.jar 
 * @see httpcore-4.1.4.jar 
 * @see httpmime-4.1.3.jar 
 * @see jcl-over-slf4j-1.6.1.jar 
 * @see slf4j-api-1.6.1.jar 
 * @see ------------------------------------------------------------------------------------------------------------------------- 
 * @create Aug 7, 2013 11:06:20 PM 
 * @author 玄玉<http://blog.csdn.net/jadyer> 
 */  
public enum HelloSolrJ {  
    INSTANCE;  
      
    private SolrServer server;  
      
    private HelloSolrJ(){  
        //创建SolrServer对象,它有两个线程安全的子类EmbeddedSolrServer和CommonsHttpSolrServer  
        //EmbeddedSolrServer-----内嵌式的,不需要启动Web服务器  
        //CommonsHttpSolrServer--需要启动Web服务器,它是通过HTTP请求来获取数据的  
        //CommonsHttpSolrServer已不推荐直接使用了,而是推荐使用HttpSolrServer类  
        //同样的StreamingUpdateSolrServer也不推荐使用了,推荐使用ConcurrentUpdateSolrServer  
        server = new HttpSolrServer("http://127.0.0.1:8088/solr");  
    }  
      
    /** 
     * 删除全部索引 
     */  
    public void deleteAllIndex(){  
        try {  
            //删除所有的索引,删除完记得commit才能生效  
            server.deleteByQuery("*:*");  
            server.commit();  
        } catch (Exception e) {  
            e.printStackTrace();  
        }  
    }  
      
      
    /** 
     * 添加索引 
     * @see 这里之所以没有硬编码指定my_title和my_content的中文分词器 
     * @see 是由于schema.xml中在定义这俩<field>时已通过type属性指定了中文分词器 
     */  
    public void addIndex(){  
        List<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();  
        for(int i=1; i<4; i++){  
            SolrInputDocument doc = new SolrInputDocument();  
            //对于Solr而言,默认的id是唯一的主键(如果我们没有自定义主键的话),当多次添加的时候,最后添加的相同id的域会覆盖已有的  
            doc.addField("id", Integer.toString(i));  
            //这里使用的是自定义的Field,所以就需要在schema.xml中为其添加<field>描述,并通过type属性指定其使用的分词器  
            doc.addField("my_title", "这是我的第" + i + "个SolrJ程序");  
            doc.addField("my_content", "my第" + i + "个SolrJ程序的运行情况");  
            docs.add(doc);  
        }  
        try {  
            //可以只添加一个Document,也可以一次添加多个Document,这里添加多个  
            server.add(docs);  
            //commit后方能生效,否则搜索到的还是add前的索引信息  
            server.commit();  
        } catch (Exception e) {  
            e.printStackTrace();  
        }  
    }  
      
      
    /** 
     * 使用JavaBean来添加索引 
     */  
    public void addIndexByBean(){  
        List<MyMessage> msgs = new ArrayList<MyMessage>();  
        //由于MyMessage()的第三个参数允许传入多个值,此时就要在Solr的schema.xml中配置<field my_content multiValued="true"/>支持多值域  
        //并且在MyMessage.java中要使用@Field注解标注,可以标注在属性或setter方法上,并通过注解的默认值来指定所要存储的Field的名字  
        msgs.add(new MyMessage("4", "这是我的第4个SolrJ程序", new String[]{"第4个SolrJ程序诞生于中国", "它是通过SolrJ OF JavaBean4诞生添加的"}));  
        msgs.add(new MyMessage("5", "这是我的第5个SolrJ程序", new String[]{"第5个SolrJ程序诞生于哈尔滨", "它是通过SolrJ OF JavaBean5诞生添加的"}));  
        try {  
            server.addBeans(msgs);  
            server.commit();  
        } catch (Exception e) {  
            e.printStackTrace();  
        }  
    }  
      
      
    /** 
     * 搜索文档 
     */  
    public void searchFile(){  
        //设置查询字符串  
        SolrQuery query = new SolrQuery("my_content:诞生");  
        //设置了setStart和setRows就可以实现分页效果了  
        query.setStart(0);  
        query.setRows(3);  
        QueryResponse resp = null;  
        try {  
            resp = server.query(query);  
        } catch (SolrServerException e) {  
            e.printStackTrace();  
        }  
        //搜索出来的结果都保存在SolrDocumentList中  
        SolrDocumentList sdl = resp.getResults();  
        //这里获取到的是搜索到的总数量,与query.setRows(3)无关  
        System.out.println("本次搜索到[" + sdl.getNumFound() + "]条数据");  
        for(SolrDocument sd : sdl){  
            //System.out.println(sd)会输出SolrDocument[{id=4, my_title=这是我的第4个SolrJ程序, my_content=[第4个....于中国, 它是....进来的]}]  
            System.out.println("my_title=" + sd.getFieldValue("my_title") + "        my_content=" + sd.getFieldValue("my_content"));  
        }  
    }  
  
      
    /** 
     * 使用JavaBean接收文档搜索结果 
     */  
    public void searchFileByBean(){  
        SolrQuery query = new SolrQuery("id:*");  
        query.setStart(0);  
        query.setRows(3);  
        QueryResponse resp = null;  
        try {  
            resp = server.query(query);  
        } catch (SolrServerException e) {  
            e.printStackTrace();  
        }  
        List<MyMessage> list = resp.getBeans(MyMessage.class);  
        //这里获取到的不是搜索到的总数量,而是与query.setRows(3)有关的值  
        //若实际的SolrQuery("id:*")能搜索到5条,则这里得到的就是3,若实际能搜索到的是2条,则这里得到的就是2条  
        System.out.println("本次搜索到[" + list.size() + "]条数据");  
        for(MyMessage msg : list) {  
            System.out.println(msg.getTitle() + "         " + msg.getContent()[0]);  
        }  
    }  
}  

下面是用到的JavaBean类

[java] view plaincopyprint?
package com.jadyer.model;  
  
import org.apache.solr.client.solrj.beans.Field;  
  
public class MyMessage {  
    @Field  
    private String id;  
    @Field("my_title")  
    private String title;  
    @Field("my_content")  
    private String[] content;  
      
    /*-- 三个属性的setter和getter略 --*/  
      
    public MyMessage() {}  
  
    public MyMessage(String id, String title, String[] content) {  
        this.id = id;  
        this.title = title;  
        this.content = content;  
    }  
}  

最后是JUnit4.x写的一个小测试

[java] view plaincopyprint?
package com.jadyer.test;  
  
import org.junit.Test;  
  
import com.jadyer.solrj.HelloSolrJ;  
  
public class HelloSolrJTest {  
    @Test  
    public void deleteAllIndex(){  
        HelloSolrJ.INSTANCE.deleteAllIndex();  
    }  
      
    @Test  
    public void addIndexAndSearchFile(){  
        HelloSolrJ.INSTANCE.addIndex();  
        HelloSolrJ.INSTANCE.searchFile();  
    }  
      
    @Test  
    public void addIndexAndSearchFileByBean(){  
        HelloSolrJ.INSTANCE.addIndexByBean();  
        HelloSolrJ.INSTANCE.searchFileByBean();  
    }  
}

0 0