nutch 初体验

因为nutch中就有Hadoop，所以在其中配置Hadoop和原本的Hadoop配置几乎相同。

唯一不同的就是要配置

1.所有节点的nutch-site.xml文件

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

  <name>http.agent.name</name>

  <value>nutch-1.0</value>

  <description>爬虫和搜索此参数必须配置</description>

</property>

</configuration>
 

2.配置所有节点上的conf/crawl-urlfilter.txt文件

# skip file:, ftp:, & mailto: urls

-^(file|ftp|mailto):

# skip image and other suffixes we can't yet parse

-/.(gif|GIF|jpg|JPG|png|PNG|ico|ICO|css|sit|eps|wmf|zip|ppt|mpg|xls|gz|rpm|tgz|mov|MOV|exe|jpeg|JPEG|bmp|BMP)$

# skip URLs containing certain characters as probable queries, etc.

-[?*!@=]

# skip URLs with slash-delimited segment that repeats 3+ times, to break loops

-.*(/[^/]+)/[^/]+/1/[^/]+/1/

# accept hosts in MY.DOMAIN.NAME

# 允许下载所有

+^

# skip everything else

-.

 

然后

bin/hadoop dfs -put crawltest/urls urls（crawltest/urls 是自己定义的种子）

bin/nutch crawl urls -dir data -depth 3 -topN 10 （爬虫将全部数据爬到data中）

 

爬完之后

bin/hadoop  fs –get data data(竟然还要下载到本地！！！！！)

 

安装tomcat

 

将Nutch主目录下的WEB前端程序nutch-1.0.war复制到 ***/ tomcat/webapps/目录下。

 

浏览器中输入http://localhost:8080/nutch-1.0，将自动解压nutch-1.0.war，在webapps下生成nutch-1.0目录。

 

配置WEB前端程序中的nutch-site.xml文件，该文件所在目录是***/tomcat/webapps/nutch-1.0/WEB-INF/classes/下，配置如下：

<property>

  <name>http.agent.name</name>   不可少，否则无搜索结果

  <value>nutch-1.0</value>

  <description>HTTP 'User-Agent' request header.</description>

</property>

 

<property>

  <name>searcher.dir</name>

  <value>D:/data< alue>  data是爬虫生成的索引数据目录。参数值请使用绝对路径

  <description>Path to root of crawl.</description>

</property>
 

(6)重启tomcat。更改配置文件后必须重启tomcat，否则不会生效。

(7)在http://localhost:8080/nutch-1.0下检索关键字。

 

 

貌似有分布式检索的方法，下一步再研究