使用Solr搭建“小”数据集群的搜索和推荐功能

之所以说是“小”数据，是针对大数据而言的，我还没有巨量数据，不想用Hadoop, Spark, Storm 再加上Mahout这样的思路起步。

对于数据量特别大，结构特别复杂的系统来说，搜索和推荐是一个技术含量相对较高的工作。一般的应用，通过现有的Apache的开源项目做一些简单的配置也可以实现。在实际的使用中，这样的搭配在功能上，性能上和可扩展性上能够满足现有的需求。

Solr 的User’s Guide虽然很厚，真的要用的时候发现，搭建一个demo容易，但是在实际使用方面可能会遇到很多问题，而且答案不太好找。先谈一下我遇到的两个小问题：（1）和数据库连接的问题  （2）位置搜索中位置信息的数据结构的处理。

Solr在Mac OS上面的安装比较容易，用homebrew 安装solr以后，在 /usr/local/Cellar/solr/5.3.1/ 的目录下面有几个目录 bin, example 和server。敲    ./solr start启动服务。

访问http://localhost:8983   就可以看到一个控制台页面了。找到“Core Admin”, 选择"Add core"。界面如图：
 
可以看到配置的时候几个关键的参数，创建好这个Core Admin, 就能够在Core Selector中看到了。其中solrconfig.xml 和schema.xml 是接下来我们要处理的两个配置文件。

（1）连接Mysql 数据库的配置

在 /usr/local/Cellar/solr/5.3.1/server/solr 中找到这个Core Admin, 我这个名字叫YIDU:  配置文件的目录 ：usr/local/Cellar/solr/5.3.1/server/solr/YiDu/conf 

1)在solrconfig.xml里面配置一下 dataimport, 告诉solr, 我要导入数据了：

[AppleScript] 纯文本查看 复制代码

?

1

2

3

4

5

<requestHandlername="/dataimport"class="org.apache.solr.handler.dataimport.DataImportHandler">

<lstname="defaults">

<strname="config">data-config.xml</str>

</lst>

</requestHandler>

2）在data-config.xml 里面这么写，告诉solr, 我要连接mysql, 运行这个sql 语句把数据给取出来：

[AppleScript] 纯文本查看 复制代码

?

01

02

03

04

05

06

07

08

09

10

11

12

13

14

15

16

17

<dataConfig>

 

<dataSource type="JdbcDataSource"

        driver="com.mysql.jdbc.Driver"

            url="jdbc:mysql://XXXXX"

            user=“admin"

            password=“password"/>

 

<document>

  <entityname="t_userinfo" transformer="script:puttwodouble"pk="c_id"query=“sql statement">

     <field column="c_id" name="c_id"/>

     <field column="c_name" name="c_name"/>

     <field column="c_longitude" name="location_1_coordinate"/>

     <field column="c_latitude" name="location_0_coordinate"/>  

  </entity>

</document>

</dataConfig>

3)  回过头来再在schema.xml 里面把这些结果反应到solr的数据结构上：

[AppleScript] 纯文本查看 复制代码

?

1

2

3

<fieldname="c_id"type="string"indexed="true"stored="true"required="true"multiValued="false"/>

<fieldname="c_name"type="text_ws"indexed="true"stored="true"/>

<fieldname="location"type="location"indexed="true"stored="true"/>

这3步做好了，mysql里面的数据就可以通过solr连接上了。

（2）位置搜索的数据结构处理
我在MySQL里面经纬度是两个column, solr 的location的数据类型不是这么处理的，需要在取数据的时候把两个数据并一下，符合solr的数据结构定义。
1）在data-config 中这么写：

[AppleScript] 纯文本查看 复制代码

?

01

02

03

04

05

06

07

08

09

10

11

<script><![CDATA[

 function puttwodouble(row)       {

       var attrVal1= row.get("c_latitude");

       var attrVal2= row.get("c_longitude");

       var attrVal =attrVal1+ "," + attrVal2;

        arr.add(attrVal1);

        arr.add(attrVal2);

        row.put("location",attrVal);

        returnrow;

                }

    ]]></script>

这里，用了个script 把两条数据并了起来。

2）在schema.xml 里面可以找到这句话：

[AppleScript] 纯文本查看 复制代码

?

1

2

<!-- A specialized field for geospatial search. If indexed, this fieldType must not be multivalued. -->

<fieldTypename="location"class="solr.LatLonType"subFieldSuffix="_coordinate"/>

相应地这个field的定义就是告诉solr, location我给你弄好了，放好：

[AppleScript] 纯文本查看 复制代码

?

1

<fieldname="location"type="location"indexed="true"stored="true"/>

Admin Console的界面如下图：
 
以上是开始研究solr的功能和性能特点，逐步根据需求定制化的基础。

我把solr 的学习分成三个部分：

• 初级：安装配置和查询
• 中级：数据结构定义，index, Analyzer,tokenizer以及Filter和Query的使用
• 高级：Cloud, 自定义tokenizer 和 filter 以及 Debug 和 调优
  

    其中，针对自己的需求，可以对solr做一些定制化：比如solr在做文字匹配的时候，可能会把出现频率比较高的关键字作为噪音过滤掉，而在一些应用场景中，这个看起来合理的处理方式带来一些麻烦。再比如，不同的数据可能对实时性的需求不同，因此对元数据的index方式也不能一刀切。
从搜索和推荐模型的角度，有这么几个问题需要解决：

1）数据预处理
i) 元数据的标准化
ii)元数据的预处理
2）推荐/应用系统
3）推荐算法（模型）
4）推荐效果评估

在应用中使用Solr, 上述两个列举出来的部分也很重要，但是限于篇幅这些问题就不在这个部分讨论了，有兴趣的朋友，可以通过订阅号交流沟通，互相学习。

在选择推荐系统的时候，有不少资源可以参考。比如：在Quora 搜一下Solr能够找到不少很好的文章。我也学习了Lucene, Sphinx, Mahout。其中 Mahout 提供了不少推荐算法，是一个值得学习的工具。
http://www.aboutyun.com/thread-17861-1-1.html

来源：用Solr快速搭建“小”数据的搜索和推荐功能的起手式

分享到:  QQ