solr4.7.2 索引远程文件内容

我的项目需求如下，一张数据库表是存储我们上传的文档附件的，其中有一个字段fileurl是该附件下载的连接url，要求通过dih的方式将该连接对应的文档内容索引下来。

首先在网上看了下面的三个博客文章挺有用的。

http://iamyida.iteye.com/blog/2214905

跟益达学Solr5之索引文件夹下所有文件

http://iamyida.iteye.com/blog/2214600

跟益达学Solr5之使用Tika从PDF中提取数据导入索引

http://iamyida.iteye.com/blog/2214920 

跟益达学Solr5之索引网络上远程文件

虽然我的需求他描述的很接近，但是还是有不一样的地方的，我的url是下载的连接，而不像他在索引远程文件中那样是一个html文件，因此在选择datasource时是需要注意的。

因为在网上这样的资料挺少的，就自己根据知道的一个一个测试，最后成功的索引的文档内容。

在这里总结几点

1.索引远程文档所需要的jar请参考我提供的那三篇博客，是一样的，虽然不太了解其中一些jar包的意思，希望以后可以研究下。

不过你需要根据你的solr版本去找对应的jar包，在下载的solr中都可以找到，如solr-4.7.2\contrib\extraction\lib中就是。

在solr-4.7.2\example中有很多例子可以帮助我们学习，如solr-4.7.2\example\example-DIH\solr就有solr对不同形式的数据进行索引的例子，如网络文件，mail，db等。

2.益达在博客中写到指定依赖的jar包，而不用都将jar包放到tomcat服务器的solr项目的web-inf的lib下。

指定依赖的jar包加载路径：<lib dir="./lib" regex=".*\.jar"/>  

但是我在做的过程中使用这样的方式，虽然在启动solr的时候将这些jar都加在到classloader中了，但是索引文档的时候还是报class not found ，放到solr的服务器目录中，/webapps/solr/WEB-INF/lib/就可以正常的索引文档内容，在网上一直没有找到该问题出现的原因和解决方法，还希望知道原因的人帮忙指点下。

在http://blog.csdn.net/cywosp/article/details/38965981博客中作者也遇到了这样的问题，最后也是将jar放到tomcat的服务器目录中解决的。

3.我使用的是entity嵌套的方式

   3.1子entity也是sql查询的话，如果引用父entity的变量，这个变量必须是父entity的外键，因为父子entity做的是主外键left join的查询

   3.2子entity使用其他的processor的话，引用父entity的值，则这个值不必是父entity的外键。

http://blog.csdn.net/ystyaoshengting/article/details/47445543 博客中写到

• left join：涉及到多个表之间有外键连接时，solr源码里面给我们展示的，是<entity></entity>里面，去引用上一层<entity></entity>对应表的外键：orgid='${member.mem_orgid}'。那么，我们何不直接将配置文件中的Query改为：select  distinct * from member left join organization o on orgid = mem_orgid。这样就可以不用分层，把所有<field></field>定义到一块了。这样是可行的，只是效率还是个未知数。不过推荐分层的<entity></entity>,逻辑清楚。

最后上传下我自己写的data-config.xml的配置，scheme.xml和solrconfig.xml配置就不说了，挺简单的。

 

 <dataConfig>   <!--从本地索引的，可以使用<dataSource name="fileDataSource" type="FileDataSource" /><dataSource name="urlDataSource" type="BinURLDataSource" />    <document>            <entity name="files" dataSource="null" rootEntity="false"            processor="FileListEntityProcessor"            baseDir="c:/docs" fileName=".*\.(doc)|(pdf)|(docx)|(txt)"            onError="skip"            recursive="true">                <field column="fileAbsolutePath" name="fileurl" />                <entity processor="PlainTextEntityProcessor" name="txtfile" url="${files.fileAbsolutePath}" dataSource="fileDataSource">                    <field column="plainText" name="text"/>                </entity>        </entity>    </document>--><!--索引网络文章，可以使用<dataSource name="urlDataSource" type="URLDataSource" />    <document>        <entity processor="PlainTextEntityProcessor" name="onlineTxtFile" url="http://demoumc.yonyou.com/ump/QueryPatchDetailedServlet?PK=0001AA1000000002UW21" dataSource="urlDataSource">            <field column="plainText" name="text"/>        </entity>    </document>--><!--从本地索引pdf文件，可以使用<dataSource name="binFileDataSource" type="BinFileDataSource" /><document>        <entity name="tika-test" processor="TikaEntityProcessor"                url="C:/docs/solr-word.pdf" format="text">                <field column="Author" name="filename" meta="true"/>                <field column="title" name="fileurl" meta="true"/>                <field column="text" name="text"/>        </entity>    </document>--><!--使用URLDataSource可以网络上的页面文章等索引下来，但是对于我们的应用中url是下载的连接，这样索引下来的是流，而不是内容--><!--<dataSource name="urlDataSource" type="URLDataSource"/>--><!--BinFileDataSource需要指定的是文件的路径，但是我们的应用中给的是下载的连接，这两者不太一样，使用这个数据源的时候会报file not found--><!--<dataSource name="binFileDataSource" type="BinFileDataSource" />--><!--符合我们项目需求的dih导入附件内容进行索引，可以使用--><dataSource name="binURLDataSource" type="BinURLDataSource" /><dataSource name="oracle" type="JdbcDataSource" driver="oracle.jdbc.driver.OracleDriver" url="jdbc:oracle:thin:@20.10.130.160:1521:orcl" user="caiwu63" password="1"/>    <document name="filedocument">          <entity pk="FILEURL" dataSource="oracle" name="files"     query="select uft.filename as filename,uft.fileurl as FILEURL from ump_fastdfs_test uft "> <field column="filename"   name="filename" />  <field column="FILEURL"   name="fileurl" /><!--这里子entity引用父entity的变量fileurl，这个变量可以不是父entity的外键，因为父子entity不是做的left join查询--><entity processor="TikaEntityProcessor" name="onlineTxtFile" url="${files.FILEURL}" dataSource="binURLDataSource" format="text">                <field column="Author" name="author" meta="true"/>                <field column="title"  name="title" meta="true"/><field column="text"  name="text"/>            </entity><!--这里子entity引用父entity的变量fileurl，这个变量必须是父entity的外键，因为父子entity做的是left join查询--><!--<entity name="comment"         query="select uft.fileurl as fileurl2 from ump_fastdfs_test uft where uft.fileurl = '${files.FILEURL}' "><field column="fileurl2"    name="fileurl2" /></entity>-->        </entity>    </document></dataConfig>  

大家也可以参考http://wiki.apache.org/solr/官方文档对datasource及entity的processor的讲解，很有帮助。