sphinx 其他的数据源

有时候我们在开发的时候碰到的数据库不是  mysql  而是 mssql 或者 mongodb  等等。那么还能用 sphinx 。其实是可以的。 俺公司遇到个就是 要在  FB 系统下 的sphinx 去索引   win 服务器下的mssql 。 我是这样做的。废话不多讲了。给例子。。。。  

核心单词： xmlpipe2 （通杀所有语言和数据库做sphinx 的问题）。  其实就是。你通过任何程序去  读取数据库信息然后构造一定格式的xml 文档 让 sphinx 去建索引。 就那么简单。

当时项目我用的是 python来实现。当然了 PHP 实现也很容易，为了预防返回的XML过大，所以PHP建议使用比较底层的xml解释器 :  xmlwriter 。

其实python 也有类似的库。叫： loxun 。 是利用stringIO 来实现的。。 

PHP 的请看官方推荐的办法：  http://jetpackweb.com/blog/2009/08/16/sphinx-xmlpipe2-in-php-part-ii/

python 的我就帖我写的  例子 ：  python -> mssql - > xml -> sphinx 。

1. # coding=utf-8
   
2. from loxun import XmlWriter
   
3. from StringIO import StringIO
   
4. import pymssql
   
5. 
   
6. conn = pymssql.connect(host=r'MySe2k', user='map', password='ci@com', database='CeMp',as_dict=True,charset='utf8')
   
7. 
   
8. cur = conn.cursor()
   
9. 
   
10. out = StringIO()
    
11. xml = XmlWriter(out)
    
12. 
    
13. xml.addNamespace("sphinx","http://www.beihai365.com")
    
14. #---docset
    
15. xml.startTag("sphinx:docset")
    
16. # --- schema
    
17. xml.startTag("sphinx:schema")
    
18. #--- field
    
19. xml.tag("sphinx:field",{"name":"content"})
    
20. #--- /field
    
21. xml.endTag() 
    
22. #--- /schema
    
23. 
    
24. #-#---  wenwen--document
    
25. cur.execute('SELECT COUNT(*) FROM MapObjectInfo')
    
26. tj = cur.fetchone()[0]
    
27. 
    
28. pNum = 1000
    
29. cutSqlNum = pNum
    
30. _p = 1
    
31. zNum = 0
    
32. 
    
33. while True:
    
34.         if (tj-zNum)<pNum:
    
35.                 cutSqlNum = tj-zNum
    
36. 
    
37.         zNum = int(pNum * _p)
    
38.         cur.execute('SELECT * FROM (select top %d* from (select top %d ID,Name from MapObjectInfo ORDER BY ID DESC)t1 ORDER BY ID)t2 ORDER BY ID DESC' % (cutSqlNum,zNum))
    
39.         #print 'SELECT * FROM (select top %d* from (select top %d ID,Name from MapObjectInfo ORDER BY ID DESC)t1 ORDER BY ID)t2 ORDER BY ID DESC\n' % (cutSqlNum,zNum)
    
40.         row = cur.fetchone_asdict()
    
41.         while row:
    
42.                 if row['ID'] == 0:
    
43.                         row = cur.fetchone_asdict()
    
44.                         continue
    
45.                 xml.startTag("sphinx:document",{"id":row['ID']})
    
46.                 xml.startTag("content")
    
47.                 xml.text(row['Name'])
    
48.                 xml.endTag()
    
49.                 xml.endTag()
    
50.                 row = cur.fetchone_asdict()
    
51.         _p = _p + 1
    
52. 
    
53.         if zNum > tj:
    
54.                 break
    
55. #---#---  /wenwen /document
    
56. conn.close()
    
57. xml.endTag()
    
58. #--- /docset
    
59. xml.close()
    
60. 
    
61. print out.getvalue()

复制代码

然后在看下 sphinx 这边建索引配置(只是简单的测试例子，如果要用在生产环境，还需要做增量和区段查询等。。。。。 -_-!不过呢这个例子小站也可以用了~)：

1. source testxml
   
2. {
   
3.     type = xmlpipe2
   
4.     xmlpipe_command = python /tmp/testx.py
   
5. }
   
6. 
   
7. index testxml
   
8. {
   
9.         source                                  = testxml
   
10.         path                                    = /data/sphinx/testxml
    
11.         docinfo                                 = extern
    
12.         morphology                              = none
    
13.         min_word_len                            = 1
    
14.         charset_type                            = utf-8
    
15.         min_prefix_len                          = 0
    
16.         html_strip                              = 1
    
17.         charset_table                           = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F
    
18.         ngram_len                               = 1
    
19.         ngram_chars                             = U+3000..U+2FA1F
    
20. }
    
21. 
    
22. indexer
    
23. {
    
24.         mem_limit                               = 128M
    
25. }
    
26. 
    
27. searchd
    
28. {
    
29.         port                                    = 4412
    
30.         log                                     = /data/log/sphinxsearch/searchd.log
    
31.         query_log                               = /data/log/sphinxsearch/query.log
    
32.         read_timeout                            = 5
    
33.         max_children                            = 30
    
34.         pid_file                                = /data/log/sphinxsearch/searchd.pid
    
35.         max_matches                             = 1000
    
36.         seamless_rotate                         = 1
    
37.         preopen_indexes                         = 0
    
38.         unlink_old                              = 1
    
39. }

复制代码

那么有点同学问: 那 mongodb 和 sphinx  怎么弄？ 
这回童鞋们应该明白了吧。。如果还不明白当我没说过。。哈哈