solr全文检索(第三篇 数据导入)--源自技术
来源:互联网 发布:淘宝怎么追加评价 编辑:程序博客网 时间:2024/05/21 06:51
大多数的应用程序将数据存储在关系数据库、xml文件中。对这样的数据进行搜索是很常见的应用。所谓的DataImportHandler提供一种可配置的方式向solr导入数据,可以一次全部导入,也可以增量导入。
他可以实现
能够读取关系数据库中的数据。
通过可配置的方式,能够将数据库中多列、多表的数据生成solr文档
能够通过solr文档更新solr
提供通过配置文件就能够导入所有数据的能力
能够发现并处理 由insert、update带来的变化(我们假定在表中有一个叫做“last-modified的列”)
能够配置"完全导入"和"增量导入"的时间
让读取xml文件,并建立索引成为可配置。
能够将 其他的数据源(例如:ftp,scp,etc)或者其他格式的文档(Json,csv)以插件的形式集成到项目中。
这个 Handler首先要在solrconfig.xml文件中配置下,如下所示。
- <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
- <lst name="defaults">
- <str name="config">/home/username/data-config.xml</str>
- </lst>
- </requestHandler>
从它的名字上,我们或许也可以猜到,
DataImportHandler正是requestHandler的实现。我们一共需要在两个地方配置文件中进行一些配置。
solrconfig.xml 。 data-config.xml必须在这个文件中配置,datasource也可以。不过,一般将datasource放在data- config.xml文件中。
下面几个步骤是必要的.
1.定义一个data-config.xml 文件,并这个它的路径配置到solrconfig.xml中关于DataImportHandler的配置中。给出Connection的信息(假设你选择在solrconfig中配置datasource)
- <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost/dbname" user="db_username" password="db_password"/>
一个配置文件可以配置多个数据源。增加一个dataSource元素就可以增加一个数据源了。name属性可以区分不同的数据源。如果配 置了多于一个的数据源,那么要注意将name配置成唯一的。
例如:
- <dataSource type="JdbcDataSource" name="ds-1" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://db1-host/dbname" user="db_username" password="db_password"/>
- <dataSource type="JdbcDataSource" name="ds-2" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://db2-host/dbname" user="db_username" password="db_password"/>
- <entity name="one" dataSource="ds-1" ...>
- ..
- </entity>
2.打开DataImportHandler页面去验证,是否该配置的都配置好了。http://localhost:8983/solr/dataimport
2.1.使用“完全导入”命令将数据从数据库中导出,并提交给solr建立索引
http://localhost:8983/solr/dataimport?command=full-import
2.2.使用“增量导入”命令对数据库发生的变化的数据导出,并提交给solr建立索引。
http://localhost:8983/solr/dataimport?command=delta-import
参考:
http://cpf1985.iteye.com/blog/1074425- solr全文检索(第三篇 数据导入)--源自技术
- solr全文检索(第二篇 solr的实例)--源自技术
- solr全文检索(第一篇 安装测试)--源自技术
- 全文检索技术--solr
- 全文检索技术---solr
- 全文检索技术—Solr
- 全文检索技术 solr(三)solr安装、启动
- Lucene技术---Solr实现全文检索技术
- Solr4 + Jcseg(数据导入) 安装配置--源自技术
- Solr全文检索介绍
- 全文检索solr
- 网站全文检索--Solr
- solr中文全文检索
- solr 全文检索服务器
- solr全文检索
- 使用sphinx全文检索和数据导入
- solr全文检索技术学习(一)-核心配置文件solrconfig.xml
- solr全文检索技术学习(二)-schema.xml配置解析
- Uber面试题1 | 房屋窃贼 House Robber II
- Ubuntu Linux 配置JDK环境
- john ubuntu14.04 subl 安装
- STL学习
- Android ant脚本自动打包、自动替换包名
- solr全文检索(第三篇 数据导入)--源自技术
- Spark组件之GraphX学习11--PageRank例子(PageRankAboutBerkeleyWiki)
- Android属性allowBackup安全风险浅析
- 学习搭建Hadoop+HBase+ZooKeeper分布式集群环境
- java基础学习总结——基础语法1
- Android快速开发系列 10个常用工具类
- 动态规划—Problem K
- 关于ios推送的教程
- MapReduce编程实例