浅谈solr-mongo-dataimport

最近项目需要一个全局搜索功能。我们的项目绝大部分数据都是存在mongodb中。搜索引擎准备用solr。
之前因为项目需要，mongodb与solr已经做过一次简单的整合。之所以说简单，是因为只是单表建立索引。用mongo-connector可以很好的将这两者整合。现在这个全局搜索的功能，需要的是多表联合。mongo-connector并不支持此功能。
忽然想到mysql与solr整合，建立索引用的是配置文件的方法。可以进行多表联合查询，mongo和solr能用类似的方法吗？于是就进行各种搜索。百度很久，网上一大片都是mongo-connector的教程。GitHub上有SolrMongoImporter的教程，国内也很少见。所以决定写此篇博客与大家分享经验。如有不足之处请多多指教，后面会贴出GitHub地址。

和mysql-solr整合一样，需要进行一些配置。
本人用的是solr5.5.0，mongo2.4.3。所以以下配置都是基于这两个版本。

配置

jar包管理

• solr自带jar包
  将solr-5.5.0/dist下的solr-dataimporthandler-5.5.0.jar复制到solr-5.5.0/server/solr-webapp/webapp/WEB-INF/lib下面
• mongo驱动包(后面提供下载地址)
  将驱动包放入solr-5.5.0/server/lib下面
• solr-mongo-import.jar（后面提供下载地址）
  将此jar包放到solr-5.5.0/server/solr-webapp/webapp/WEB-INF/lib下面

xml配置文件

• 修改solrconfig.xml
  在对应core目录中conf文件夹下的solrconfig.xml中加入以下代码

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">   <lst name="defaults">      <str name="config">data-config.xml</str>   </lst></requestHandler>

• data-config.xml配置
  在conf文件夹下建立data-config.xml文件，配置如下：

<?xml version="1.0"?><dataConfig><!--username:用户名（没有可以不写），password:密码-->   <dataSource name="kxlist_list" type="MongoDataSource" database="kxlist_list" host="192.168.1.253" port="27017"/>   <document name="data">   <!-- if query="" then it imports everything -->     <entity name="share"              processor="MongoEntityProcessor"              query="{'status':'1'}"              collection="shareResources"              datasource="kxlist_list"              transformer="MongoMapperTransformer">              <field column="id"  name="id" mongoField="_id" />              <field column="resourceType" name="resourceType" mongoField="resourceType"/>              <field column="resourceId" name="resourceId" mongoField="resourceId"/>              <field column="resourceName" name="resourceName" mongoField="resourceName" />              <field column="shareUserId" name="userId" mongoField="shareId"/>              <field column="receiveInfo" name="receiveInfo" mongoField="receiveInfo"/>              <field column="shareType" name="shareType" mongoFiled="shareType"/>             <!--类似关系型数据库的联合查询-->            <entity name="commodityList"                    processor="MongoEntityProcessor"                    query="{'_id':'${share.resourceId}'}"                    collection="commoditylist"                    datasource="kxlist_list"                    transformer="MongoMapperTransformer">                    <field column="commodities" name="commodities" mongoField="commodities"/>                    <field column="listNum" name="listNum" mongoField="num"/>              </entity>             <entity name="quotelist"                    processor="MongoEntityProcessor"                    query="{'_id':'${share.resourceId}'}"                    collection="quotelist"                    datasource="kxlist_list"                    transformer="MongoMapperTransformer">                    <field column="commodities" name="commodities" mongoField="commodities"/>                    <field column="listNum" name="listNum" mongoField="num"/>              </entity>              <entity name="demandlist"                    processor="MongoEntityProcessor"                    query="{'_id':'${share.resourceId}'}"                    collection="demandlist"                    datasource="kxlist_list"                    transformer="MongoMapperTransformer">                    <field column="commodities" name="commodities" mongoField="commodities"/>                    <field column="listNum" name="listNum" mongoField="num"/>              </entity>         </entity>   </document> </dataConfig>

参数说明(只介绍个别参数)：
dataSource:数据源配置，支持副本集。用“”,“”分割。例如： host=”192.168.1.253,192.168.1.254” port=”27017,27017”
field: ‘column’相当于别名。’name’需要与managed-schema中field名字对应。’mongoField’mongodb数据库字段名字。

• managed-schema配置
  在此只展示field字段配置，里面也有一些动态字段的配置。

    <field name="_version_" type="long" indexed="true" stored="true"/>    <field name="_root_" type="string" indexed="true" stored="false"/>    <field name="_text_" type="text_general" indexed="true" stored="false" multiValued="true"/>    <copyField source="*" dest="_text_"/>    <field name="id" type="string" indexed="true" stored="true" />    <field name="_ts" type="long" indexed="true" stored="true" />    <field name="resourceType" type="string"  indexed="false" stored="true"/>    <field name="resourceId" type="string" indexed="false" stored="true"/>    <field name="resourceName" type="string" indexed="true" stored="true"/>    <field name="userId" type="string" indexed="true" stored="true"/>     <field name="listNum" type="string" indexed="true" stored="true"/>    <field name="shareType" type="string" indexed="false" stored="true"/>        <!-- Dynamic field definitions allow using convention over configuration       for fields via the specification of patterns to match field names.       EXAMPLE:  name="*_i" will match any field ending in _i (like myid_i, z_i)       RESTRICTION: the glob-like pattern in the name attribute must have       a "*" only at the start or the end.  --><!--在数据库中是以数组形式存在，需要配置动态字段-->  <dynamicField name="commodities*" type="string" indexed="true" stored="true"/>  <dynamicField name="receiveInfo*" type="string" indexed="true" stored="true"/>

至此，配置已经完毕。可以进行导入数据测试。

导入数据完成之后可以查询测试。

大功告成！！

下面提供各种资源地址

• mongodb驱动包
• solr-mongo-importer jar包

• solrMongoImporter源码

  GitHub地址

• 鼻祖地址（github上各种SolrMongoImporter代码都是fork它的）

• 本文主要来源地址（源码和jar包都来源于此地址）

最近发现一些网站转载文章不附带原文链接，所以在此亲自贴上。http://blog.csdn.net/u013259845/article/details/53637060