Nutch入门白话版

来源：互联网发布：中京创意域名交易中心编辑：程序博客网时间：2024/04/28 19:40

不得不说，Nutch的入门官方文档写的真不清晰明了。害的我按照官方文档折腾半天。

Nutch现在已经到了2.2.2版本，而且版本1.x已经更新到了1.8，这里以1.7为例，1.8中的部分命令行工具的API有变，入门时不是很容易。

#安转运行Nutch#

- 下载安装Nutch
- 在${NUTCH_HOME}下，mkdir urls
- cd urls
- touch seed.txt
- edit seed.txt ,write :http://nutch.apache.org
- edit ${NUTCH_HOME}/conf/regex.urlfilter.txt
- replace

```
'#accept anything else
+.

```

with

```
+^http://([a-z0-9]*\.)*nutch.apache.org/

```

- 爬取网页： bin/nutch crawl urls -dir crawl -depth 3 -topN 5
注意：此命令1.8版本有改变

#安装Solr#

- 下载安装Solr,我使用的时最新版的4.8
- cd ${SOLR_HOME}/example
- java -jar start.jar
- 验证安装：http://localhost:8983/solr/

#Nutch和Solr集成#
这里要注意：文档说了那么多其实只有两件事：
+ 使用${NUTCH_HOME}/conf/schema-solr4.xml 替换掉${SOLR_HOME}/example/solr/collection1/conf/schema.xml ,并将schema-solr4.xml改名为schema.xml
+ 在schema.xml中第351行后面(其实只要添加在types标签中即可)添加：<field name="_version_" type="long" indexed="true" stored="true"/>

到这里集成就完成了。现在只要重新启动solr，并用下面的命令将Nutch爬取的数据索引到solr即可。

在${NUTCH_HOME}下，运行：

```
bin/nutch solrindex http://127.0.0.1:8983/solr/ crawl/crawldb -linkdb crawl/linkdb crawl/segments/*

```
然后访问：http://localhost:8983/solr/

0 0