Solr DIH以Mysql为数据源批量创建索引

http://www.devnote.cn/article/86.html

原创 Solr DIH以Mysql为数据源批量创建索引

作者：David Liu，   发表于：2013-12-09 11:30:00，   更新于：2014-08-06 16:45:11，   浏览量：1464

演示使用solr管理后台，以mysql为数据源，批量建索引的方法

测试于：Solr 4.5.1, mmseg4j 1.9.1, Jdk 1.6.0_45, Tomcat 6.0.37 | CentOS 5.7

配置数据源

[root@devnote ~]# cd /root/solr-4.5.1/example/example-DIH/solr/db/conf[root@devnote conf]# touch mysql-data-config.xml 

编辑mysql-data-config.xml，根据需要添加新内容，内容可参见同目录下db-data-config.xml文件

<dataConfig>    <dataSource driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/basic" user="root" password="123"/>    <document>        <entity name="article" transformer="HTMLStripTransformer"                query="SELECT id, title, content FROM article">                <field column="id" name="id" />                <field column="title" name="title" />                <field column="content" name="content" stripHTML="true" />        </entity>    </document></dataConfig>

transformer="HTMLStripTransformer"配合stripHTML="true"使用来达到过滤正文html标签的作用。

配置dataimport handler

打开solr管理后台，选择相应的core，选择Dataimport（可参考如下第二张截图）
初次使用此功能，会显示：sorry, no dataimport-handler defined!
编辑solrconfig

[root@devnote ~]# vi solr-4.5.1/example/solr/collection1/conf/solrconfig.xml

加入如下代码

 <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">  <lst name="defaults">    <str name="config">/root/solr-4.5.1/example/example-DIH/solr/db/conf/mysql-data-config.xml</str>  </lst></requestHandler>

添加位置根据自己的习惯，便于查找即可，我这里放到系统内置最后一个handler，replication之下，如：

重启报错：java.lang.ClassNotFoundException: org.apache.solr.handler.dataimport.DataImportHandler
引入需要的包即可

[root@devnote ~]# cp solr-4.5.1/dist/solr-dataimporthandler-*.jar /opt/tomcat/webapps/solr/WEB-INF/lib/

因为涉及到连接mysql，自己找一个mysql的驱动包也放到上述lib中

重启

执行创建索引

1. 选择对应的core；
2. 选择Dataimport；
3. 选择实体article；(注Solr 4.9.0中实体列表为空，解决方法参见：For security reasons, SolrResourceLoader cannot load files from outside the instance's directory)
4. 执行Execute；
5. Refresh Status查看状态，右侧会显示正确索引的数量。

相关文章：

• 解决Solr DataImportHandler（DIH）以 MySQL为数据源创建索引内存溢出问题
• Solr在创建索引时，设置过滤HTML标签
• Solr实时创建增量或全量索引
• Mysql创建一个新数据库
• 修改mysql数据库默认编码为utf-8（mysql 5.5）
• 修改mysql数据库默认编码为utf-8

上一篇：Windows 下安装启动Solr
下一篇：java.lang.ClassNotFoundException: org.apache.solr.handler.dataimport.DataImportHandler