solr定时实时重建索引和增量更新

注：在上一篇的solr增量索引中遇到了一个很大的问题：定时任务一直无法执行，后来找了很多原因，分析日志后发现增量索引的请求都没发送，又经过一番折腾才在网上找到了解决方法，是apache-solr-dataimportscheduler-1.0.jar的一个bug，post请求无法正确发送，这位仁兄的文章真是精华所在，感谢这位仁兄！

Solr Data Import Hander Scheduler 说明: 
       Solr官方提供了很强大的Data Import Request Handler，同时提供了一个简单的 Scheduler， 
示例中的 Scheduler 只支持增量更新，不支持定期重做索引，因此我做了一个简单的封装，增加了重做索引的定时器. 
(原定时器作者是:Marko Bonaci, 在此表示感谢!)The original Scheduling source by Marko Bonaci, Thank him! 
使用说明 
   1. 将 apache-solr-dataimportscheduler-1.0.jar 和solr自带的 apache-solr-dataimporthandler-.jar, apache-solr-dataimporthandler-extras-.jar 放到solr.war的lib目录下面 
   2.修改solr.war中WEB-INF/web.xml, 在servlet节点前面增加: 

?

1

2

3

4

5

<listener>

          <listener-class>

                org.apache.solr.handler.dataimport.scheduler.ApplicationListener

          </listener-class>

</listener>

     3.将apache-solr-dataimportscheduler-.jar 中 dataimport.properties 取出并根据实际情况修改,然后放到 solr.home/conf (不是solr.home/core/conf) 目录下面 
    4.重启tomcat或者jboss 即可 

dataimport.properties 配置项说明

?

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

#################################################

#                                               #

#       dataimport scheduler properties         #

#                                               #

#################################################

 

#  to sync or not to sync

#  1 - active; anything else - inactive

syncEnabled=1

 

#  which cores to schedule

#  in a multi-core environment you can decide which cores you want syncronized

#  leave empty or comment it out if using single-core deployment

syncCores=core1,core2

 

#  solr server name or IP address

#  [defaults to localhost if empty]

server=localhost

 

#  solr server port

#  [defaults to 80 if empty]

port=8080

 

#  application name/context

#  [defaults to current ServletContextListener's context (app) name]

webapp=solr

 

#  URL params [mandatory]

#  remainder of URL

params=/dataimport?command=delta-import&clean=false&commit=true

 

#  schedule interval

#  number of minutes between two runs

#  [defaults to 30 if empty]

interval=1

 

#  重做索引的时间间隔，单位分钟，默认7200，即5天;

#  为空,为0,或者注释掉:表示永不重做索引

reBuildIndexInterval=7200

 

#  重做索引的参数

reBuildIndexParams=/dataimport?command=full-import&clean=true&commit=true

 

#  重做索引时间间隔的计时开始时间，第一次真正执行的时间=reBuildIndexBeginTime+reBuildIndexInterval*60*1000；

#  两种格式：2012-04-11 03:10:00 或者  03:10:00，后一种会自动补全日期部分为服务启动时的日期

reBuildIndexBeginTime=03:10:00

上文出处：http://code.google.com/p/solr-dataimport-scheduler/

博主ps:

如果你运行报以下异常：

org.apache.catalina.core.StandardContext listenerStart 
SEVERE: Exception sending context initialized event to listener instance of class org.apache.solr.handler.dataimport.scheduler.ApplicationListener 
Java.lang.NullPointerException 
    at org.apache.solr.handler.dataimport.scheduler.ApplicationListener.contextInitialized(ApplicationListener.java:93) 
    at org.apache.catalina.core.StandardContext.listenerStart(StandardContext.java:4210) 
    at org.apache.catalina.core.StandardContext.start(StandardContext.java:4709) 
    at org.apache.catalina.core.ContainerBase.addChildInternal(ContainerBase.java:799) 
    at org.apache.catalina.core.ContainerBase.addChild(ContainerBase.java:779) 
    at org.apache.catalina.core.StandardHost.addChild(StandardHost.java:583) 
    at org.apache.catalina.startup.HostConfig.deployDirectory(HostConfig.java:1079) 
    at org.apache.catalina.startup.HostConfig.deployDirectories(HostConfig.java:1002) 
    at org.apache.catalina.startup.HostConfig.deployApps(HostConfig.java:506) 
    at org.apache.catalina.startup.HostConfig.start(HostConfig.java:1317) 
    at org.apache.catalina.startup.HostConfig.lifecycleEvent(HostConfig.java:324) 
    at org.apache.catalina.util.LifecycleSupport.fireLifecycleEvent(LifecycleSupport.java:142) 
    at org.apache.catalina.core.ContainerBase.start(ContainerBase.java:1065) 
    at org.apache.catalina.core.StandardHost.start(StandardHost.java:822) 
    at org.apache.catalina.core.ContainerBase.start(ContainerBase.java:1057) 
    at org.apache.catalina.core.StandardEngine.start(StandardEngine.java:463) 
    at org.apache.catalina.core.StandardService.start(StandardService.java:525) 
    at org.apache.catalina.core.StandardServer.start(StandardServer.java:754) 
    at org.apache.catalina.startup.Catalina.start(Catalina.java:595) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) 
    at java.lang.reflect.Method.invoke(Method.java:597) 
    at org.apache.catalina.startup.Bootstrap.start(Bootstrap.java:289) 
    at org.apache.catalina.startup.Bootstrap.main(Bootstrap.java:414)

那说明你dataimport.properties的存放位置不正确，注意第3点，dataimport.properties存放在tomcat的solr.xml里配置的solr/home路径的conf文件夹下，conf文件夹是没有的，需新建。

例如solr.xml的配置如下：

?

1

2

3

4

<?xmlversion="1.0"encoding="UTF-8"?>

<ContextdocBase="E:\solrbase\tomcat7\webapps\solr"debug="0"crossContext="true">

    <Environmentname="solr/home"type="java.lang.String"value="E:\solrbase\solr"override="true"/>

</Context>

则dataimport.properties位置是：E:\solrbase\solr\conf\dataimport.properties