solr服务快速搭建、配置中文分词、数据导入即solrj增删改查

一.准备工作

1. 环境准备：

1.1 centos 6.5/mac os 10.12.6

1.2 solr6.6.0：http://archive.apache.org/dist/lucene/solr/6.6.0/solr-6.6.0.tgz

1.3 IK_Analyzer: https://github.com/SetGeek/ck/blob/master/IK-Analyzer分词器/ik-analyzer-solr6.x.jar

1.4 mysql驱动：https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.44.zip

2. 假定一个需求：现在需要索引商品信息，以支撑前台商品展示页面的搜索。

1. 数据库中的表有商品分类表和商品详情表

-- 商品表:DROP TABLE IF EXISTS `rd_product`;CREATE TABLE `rd_product` (  `id` varchar(32) NOT NULL COMMENT '商品编号',  `p_name` varchar(100) NOT NULL COMMENT '商品名称',  `p_price` decimal(20,2) NOT NULL COMMENT '商品单价',  `p_amount` int(10) NOT NULL COMMENT '商品数量',  `p_desc` varchar(1000) DEFAULT NULL COMMENT '商品描述',  `p_type` varchar(32) DEFAULT NULL COMMENT '商品类型',  PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;

--  商品类型表：DROP TABLE IF EXISTS `rd_type`;CREATE TABLE `rd_type` (  `id` varchar(32) NOT NULL COMMENT '类型编号',  `t_name` varchar(100) NOT NULL COMMENT '类型名称',  `t_desc` varchar(1000) DEFAULT NULL COMMENT '类型详情',  PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;

二. 搭建standalone模式(单机)的solr服务

1. 安装并启动服务。

​ 解压solr-6.6.0.tgz压缩包，在解压后的文件夹下,使用自带的jetty容器启动solr服务，默认端口为8983，也可以自定义端口启动。

默认启动的命令：bin/solr start

指定端口启动(8080)的命令：bin/solr start -p 8080

服务停止命令：bin/solr stop

2. 查看管理界面。

​ 在浏览器中访问http://localhost:8983/solr，进入solr的管理界面，

3. 创建索引库。

​ 索引存放在索引库中，此时solr中是没有索引库的，需要创建一个索引库，并命名为RD-Core

创建索引库的命令:bin/solr create -c RD-Core

删除索引库的命令：bin/solr delete -c RD-Core

4. 配置中文分词器

如果不需要自定义敏感词汇和行业名词，可以使用solr自带的分词器，否则需要使用IK-Analyzer、paoding等分词器。

4.1 配置solr自带的分词器（选择性配置，也可以都配置上）

4.1.1 引入分词器的jar文件：在server/solr/RD-Product/conf/solrconfig.xml中配置如下信息。

<!-- 引入"contrib/rd-lib/"下所有jar文件 --><lib dir="${solr.install.dir:../../../..}/contrib/analysis-extras/lucene-libs/" regex=".*\.jar" />

4.1.2 添加一个中文分词的字段类型(filedType)：在solr中，字段类型(fieldType)相当于数据库中的字段类型(int、varchar…)，在server/solr/RD-Product/conf/managed-schema中配置如下内容

<fieldType name="text_smartcn" class="solr.TextField" positionIncrementGap="0">    <!-- 索引时的分词器 -->    <analyzer type="index">      <tokenizer class="org.apache.lucene.analysis.cn.smart.HMMChineseTokenizerFactory"/>    </analyzer>    <!-- 查询时的分词器 -->    <analyzer type="query">       <tokenizer class="org.apache.lucene.analysis.cn.smart.HMMChineseTokenizerFactory"/>    </analyzer></fieldType>

4.2 配置IKAnalyzer分词器

4.2.1 添加分词器的jar文件：在contrib下新建文件夹rd-lib，并将ik-analyzer-solr6.x.jar拷贝进来，这个文件夹用来存放第三方jar文件，后面做数据导入时候，用到的mysql数据库驱动也放到这个文件夹下。

4.2.2 引入分词器的jar文件：在server/solr/RD-Product/conf/solrconfig.xml中配置如下信息，将rd-lib这个文件夹下的所有jar包引入到服务中。

<!-- 引入"contrib/rd-lib/"下所有jar文件 --><lib dir="${solr.install.dir:../../../..}/contrib/rd-lib/" regex=".*\.jar" />

4.2.3 添加一个中文分词的字段类型(filedType)：在server/solr/RD-Product/conf/managed-schema中配置如下内容

<!--中文分词器IK Analyzer--><fieldType name="text_ik" class="solr.TextField">  <!--索引时候的分词器-->  <analyzer type="index" class="org.wltea.analyzer.lucene.IKAnalyzer"/>  <!--查询时候的分词器-->  <analyzer type="query">    <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" isMaxWordLength="false" useSmart="false"/>    <filter class="solr.LowerCaseFilterFactory"/>  </analyzer></fieldType>

4.2.4 自定义敏感词汇与行业专属词汇（如果不需要，可以跳过）

在server/solr-webapp/webapp/WEB-INF/下新建一个文件夹classes，并新建文件IKAnalyzer.cfg.xml，内容如下

<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">  <properties>      <comment>IK Analyzer 扩展配置</comment>    <!--用户可以在这里配置自己的扩展字典,'/'表示项目的根路径,多个文件用';'分隔 -->    <entry key="ext_dict">/ext1.txt;/ext2.txt;</entry>     <!--用户可以在这里配置自己的扩展停止词字典-->    <!-- <entry key="ext_stopwords">stopwords.txt;</entry>  --> </properties>

5. 添加需要索引的字段

​ 我们需要索引商品的名称、价格、数量、商品描述、商品类型和商品类型描述，则在文件server/solr/RD-Product/conf/managed-schema中配置如下字段，其中的name是自定义的，不需要与数据库保持一致，type可以是solr内置的数据类型，也可以是上面配置的中文分析器的类型，如果字段包含中文，强烈建议配置为text_smartcn或text_ik。

<!-- 商品信息 --><field name="p_name" type="text_smartcn" indexed="true" stored="true" multiValued="true"/><field name="p_price" type="float" indexed="true" stored="true" multiValued="true"/><field name="p_amount" type="int" indexed="true" stored="true" multiValued="true"/><field name="p_desc" type="text_smartcn" indexed="true" stored="true" multiValued="true"/><field name="p_type_name" type="string" indexed="true" stored="true" multiValued="true"/><field name="t_desc" type="text_smartcn" indexed="true" stored="true" multiValued="true"/>

6. 配置数据库连接(如果不需要从数据库导入数据，该步骤可以省略)

6.1 引入数据导入的jar包，并添加数据导入处理器，在server/solr/RD-Product/conf/solrconfig.xml中配置

<!-- 导入文件夹dist下所有的jar --><lib dir="${solr.install.dir:../../../..}/dist/" regex=".*\.jar" /><!--数据库导入索引的配置文件 -->   <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">    <lst name="defaults">      <str name="config">data-config.xml</str>     </lst>  </requestHandler> 

6.2 在server/solr/RD-Product/conf/中创建data-config.xml,并在其中配置数据库与索引库的连接信息。

<?xml version="1.0" encoding="UTF-8" ?><dataConfig>  <!-- 数据库驱动及数据库信息,数据库：rd_mall,用户名：root，密码为空 -->  <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://127.0.0.1:3306/rd_mall" user="root" password="" batchSize="-1" />  <document>    <entity name="rd_product" query="SELECT p.id AS 'pID',p.p_name AS 'pName',p.p_price AS 'pPrice',p.p_amount AS 'pAmount',p.p_desc AS 'pDesc',t.t_name AS 'pType',t.t_desc AS 't_desc' FROM rd_product p,rd_type t WHERE p.p_type=t.id">      <!--column的id是数据库的id,name的id是managed_schema里面的id，id是必须，并且唯一的-->      <field column="pID" name="id" />      <!--column的pName是数据库的p_name字段,name的p_name是schema-managed中的字段,下面配置同理-->       <field name="p_name" column="pName"/>        <field name="p_price" column="pPrice"/>        <field name="p_amount" column="pAmount"/>        <field name="p_desc" column="pDesc"/>        <field name="p_type_name" column="pType"/>        <field name="t_desc" column="tDesc"/>    </entity>  </document></dataConfig>

6.3 重启服务后，使用以下命令导入数据,至此，单机版的solr服务搭建完毕。

重启服务：bin/solr restart

导入数据：curl http://localhost:8983/solr/RD-Product/dataimport\?command\=full-import

删除所有数据：bin/post -c RD-Product -d "<delete><query>*:*</query></delete>"

删除指定id的数据：bin/post -c RD-Product -d "<delete><id>p001</id></delete>"

二. SolrJ的使用示例

1.新建一个maven项目，pom.xml如下配置

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">    <modelVersion>4.0.0</modelVersion>    <groupId>com.sgcc.gdt.search</groupId>    <artifactId>rd_solr_demo</artifactId>    <version>1.0.0</version>    <parent>        <groupId>org.springframework.boot</groupId>        <artifactId>spring-boot-starter-parent</artifactId>        <version>1.5.7.RELEASE</version>        <relativePath/> <!-- lookup parent from repository -->    </parent>    <dependencies>        <dependency>            <groupId>org.springframework.boot</groupId>            <artifactId>spring-boot-starter-data-solr</artifactId>        </dependency>        <dependency>            <groupId>junit</groupId>            <artifactId>junit</artifactId>            <version>4.12</version>        </dependency>    </dependencies>    <build>        <plugins>            <plugin>                <artifactId>maven-compiler-plugin</artifactId>            </plugin>        </plugins>    </build></project>

2.增（改）、删、查及数据库导入数据的使用

public class SearchServer {    /** solr服务客户端 */    private SolrClient solrClient;    /** solr服务的地址 */    private String solrURL = "http://127.0.0.1:8983/solr";    /** solr索引库的名称 */    private String coreName = "RD-Product";    /**     * 获取solr服务的客户端     */    @Before    public void init() {        solrClient = new HttpSolrClient("http://127.0.0.1:8983/solr");    }    /**     * 关闭solr服务     */    @After    public void destroy() throws IOException {        if (solrClient != null) {            solrClient.close();        }    }    /**     * 查询示例     */    @Test    public void queryTest() throws IOException, SolrServerException {        //查询条件        SolrQuery solrQuery = new SolrQuery();        solrQuery.setQuery("*:*");        //查询方法        QueryResponse response = solrClient.query(coreName, solrQuery);        SolrDocumentList results = response.getResults();        System.out.println("查询结果：" + response);    }    /**     * 添加索引     */    @Test    public void add() throws IOException, SolrServerException {        //构造索引文档        SolrInputDocument document = new SolrInputDocument();        String id = UUID.randomUUID().toString().replaceAll("-", "");        document.setField("id", id);        document.setField("p_name", "神州笔记本电脑");        document.setField("p_price", 1234f);        document.setField("p_amount", 100);        document.setField("p_type_name", "电脑");        //添加索引文档        solrClient.add(coreName, document);        solrClient.commit(coreName);        System.out.println("添加成功！");    }    /**     * 删除索引     */    @Test    public void delete() throws IOException, SolrServerException {        solrClient.deleteByQuery(coreName, "*:*");        System.out.println("删除成功！");    }    /**     * 从数据库导入索引     */    @Test    public void dataImportTest() throws IOException {        String path1 = "http://localhost:8983/solr/RD-Product/dataimport?command=full-import";        RequestConfig config = RequestConfig.custom().setConnectTimeout(60000).setSocketTimeout(15000).build();        HttpClient httpClient = HttpClientBuilder.create().setDefaultRequestConfig(config).build();        HttpGet httpGet = new HttpGet(path1);        HttpResponse response = httpClient.execute(httpGet);        int statusCode = response.getStatusLine().getStatusCode();        if(statusCode == HttpStatus.SC_OK){            httpGet.abort();            System.out.println("导入数据成功！");        }    }}

本示例中出现的问题，欢迎指正，共同学习！
GitHub地址:https://github.com/SetGeek/ck.git
本人邮箱： [e-mail]