solr6.4.2全量与增量导入数据

1.导入jar包

将相应数据导入jar包放入solr项目的WEN-INF目录下的lib文件夹中：

solr-dataimporthandler-6.4.2.jarsolr-dataimporthandler-extras-6.4.2.jar

相关的jar包可以去solr安装包中找到。将数据库的jar包放入tomcat的lib目录下：

mysql-connector-java-5.1.39.jar

2.修改配置文件

修改solr项目中solr/solrhome/core1/conf目录下的solrconfig.xml文件：

<requestHandler name="/dataimport" class="solr.DataImportHandler">    <lst name="defaults">      <str name="config">solr-data-config.xml</str>    </lst></requestHandler>

在相应目录下创建solr-data-config.xml文件，有此文件直接修改：

<?xml version="1.0" encoding="UTF-8"?>  <dataConfig>  <dataSource name="source1" type="JdbcDataSource" driver="com.mysql.jdbc.Driver"url="jdbc:mysql://192.168.10.135:3306/solrtest" user="root" password="root" batchSize="-1" ></dataSource>  <document>  <entity name="news" pk="id"  dataSource="source1"           query="select * from  news"              deltaImportQuery="select * from news where id='${dih.delta.id}'"              deltaQuery="select * from news where updatetime> '${dataimporter.last_index_time}'">        <field column="id" name="id"/>  <field column="title" name="title"/>  <field column="author" name="author"/>  <field column="date" name="date"/>  <field column="content" name="content"/>  <field column="url" name="url"/><field column="vip" name="vip"/> </entity></document></dataConfig>

其中last_index_time为每次索引时自动记录的时间。

3.建立数据库导入索引

数据库建立的数据表news中必须有一个updatetime的timestamp类型的字段，并且设置它为自更新，default设置为CURRENT_TIMESTAMP，这样每次修改某条数据时他的updatetime时间会自动更新。

              全量更新索引（full-import）                                    增量更新索引（delta-import）

 

增量索引时去掉clean选项防止把原有数据清空，这样后面增加数据或者修改数据只需要进行增量更新就可以了。