kettle solr plugin

来源:互联网 发布:淘宝开店需要交保证金吗 编辑:程序博客网 时间:2024/06/09 17:35

kettle solr plugin

项目概述:

基于kettle 4.1,solr 7.1 实现将数据写入到solr core的功能;

项目部署:

1、使用maven build->package ,生成 solr_plugin-0.0.1-SNAPSHOT.jar

2、在kettle目录 plugins\steps 下,新建 solr_plugin 目录

3、将src/main/resources下的plugin.xml,solr.png,和必须的jar包一同拷贝到 solr_plugin 目录下:
E:\dev\data-integration_4.1.0\plugins\steps>tree /f
E:.
└─solr_plugin
httpclient-4.5.3.jar
httpcore-4.4.6.jar
httpmime-4.5.3.jar
noggit-0.8.jar
plugin.xml
solr-solrj-7.1.0.jar
solr.png
solr_plugin-0.0.1-SNAPSHOT.jar
zookeeper-3.4.10.jar

4、启动kettle测试;

etl运行截图

1、将数据写入到solr:
将数据写入到solr

2、Solr Output步骤描述:
Solr Output步骤

小结:

当前仅实现基于solr core的单实例模式,需要研究基于zookeeper模式的数据写入功能;

项目源码:

https://github.com/hury/kettle-solr-plugin