Lucene、Nutch、Solr
来源:互联网 发布:软件测试薪资到底怎样 编辑:程序博客网 时间:2024/05/05 00:54
首先,说一下三者之间的关系。
lucene是一个做搜索用的类库。
nutch和solr都是基于lucene的,二者都是可直接运行的应用程序。solr是lucene的服务器化,内嵌了jetty,提供REST接口,
用户可以直接post数据给solr,然后由solr进行索引。
solr不包含下载系统,用户需要负责下载,转成solr所需要的格式。
solr还提供查询接口供用户查询。
nutch可以看成一个out-of-box的搜索引擎,包含了crawler,indexer和查询接口。
但nutch更偏向于下载系统。
一般可以使用nutch做crawler,而使用solr做indexer和查询接口。
其次,看一下Nutch各个模块,以及如何将数据传输给solr。
Nutch 的入口 是 : Crawl 。
主要模块:
1、Injector
将 入口 url 放入 crawldb 中。并初始化 crawldb。
2、Generator
读取crawldb中 的url,过滤出将要抓取的url列表,叫 fetchlist ,并生成相应的 segment。
3、Fetcher
将 fetchlist 作为 源,抓取页面,调用 parse 。
4、ParseSegment
分析页面(html/JS/CSS/PDF/World 等等,根据配置)得出 parse_data /parse_text / 外链。
5、CrawlDb(update)
由parse结果,更新crawldb。
6、LinkDb
分析 url 连接关系。
7、SolrIndexer
将数据传送给Solr。
再次,看一下Nutch、Hadoop、Lucene、Solr 之间 的数据交互
Nutch 把所有的,都按自己的重新写了一遍,NutchDocument、NutchField ,都 实现 Hadoop的 Writable 接口。这样就很容易的写到了 HDFS 上。
Nutch 可以 用 把数据传输给 Solr
bin/nutch solrindex http://127.0.0.1:8983/solr/ crawldb -linkdb crawldb/linkdb crawldb/segments/*这个命令调用的是:org.apache.nutch.indexer.solr.SolrIndexer
在上面会 MapReduce 的配置 及启动。查看Reduce的实现,没有任何的 向Solr 写内容的代码,在初始化Job的时候NutchIndexWriterFactory.addClassToConf(job, SolrWriter.class); 有一个这样的类,SolrWriter ,在这个里面可以找到相关与Solr交互的代码。
而Solr 里,接收请求的是:BinaryUpdateRequestHandler ,会把 Nutch 传进来的 内容 转换成 Lucene 的索引。
- Lucene、Nutch、Solr
- solr/lucene和nutch/lucene的区别
- nutch/solr/lucene//hadoop/hbase 搜索引擎
- lucene、solr、nutch三者的关系
- 全文索引-lucene,solr,nutch,hadoop之nutch与hadoop
- 全文索引-lucene,solr,nutch,hadoop之nutch与hadoop
- 全文索引-lucene,solr,nutch,hadoop之solr
- 全文索引-lucene,solr,nutch,hadoop之lucene
- lucene nutch solr及hadoop的区别和联系
- 全文检索技术-lucene,solr,nutch,hadoop,可见nutch除了做爬虫,还可以实现全文检索
- 5.搜索之路——solr与lucene和nutch关系
- solr/lucene
- Solr、Lucene
- lucene&solr
- 集成Nutch和Solr
- nutch solr 集成问题
- Nutch&Solr小计
- Luence Solr Nutch说明
- android、ios与服务器端php使用rsa加密解密通讯
- 导入安卓工程时出现红色叹号的几种解决办法。
- 直接拿来用!最火的Android开源项目(完结篇)
- 基于java的SHA1加密算法
- jasmine入门
- Lucene、Nutch、Solr
- volatile关键字作用
- Java基础04:选择排序;冒泡排序;折半查找;二位数组
- 64位 2008 配置 iis asp.net 提示 system.data.sqllite
- vc2010+openCV1.0实现将指定目录下的所有jpg文件缩放后存放到目标文件夹
- Oracle BI Delivers 概述
- 【最长连续序列问题】
- POJ 3087 Shuffle'm Up
- Codeforces Round #197(div 2)