程序博客网 > 黛珂精致水乳 知乎

Nutch 1.3 学习笔记1

来源：互联网 发布：黛珂精致水乳 知乎 编辑：程序博客网 时间：2024/05/11 19:37

[-]

  1. Nutch是什么
  2. 在哪里要可以下载到最新的Nutch
  3. 如何配置Nutch
    1. 对下载后的压缩包进行解压然后cd HOMEnutch-13runtimelocal
    2. 配置binnutch这个文件的权限使用chmod x binnutch 
    3. 配置JAVA_HOME使用export JAVA_HOMEPATH
  4. 抓取前要做什么准备工作
    1. 建立一个地址目录mkdir -p urls
    2. 然后运行如下命令
  5. Nutch的抓取流程是什么样子的
    1. 初始化crawlDb注入初始url
    2. 产生新的抓取urls
    3. 对上面产生的url进行抓取
    4. 对上面的结果进行解析
  6. 参考

--------------------

1. Nutch是什么?

Nutch是一个开源的网页抓取工具，主要用于收集网页数据，然后对其进行分析，建立索引，以提供相应的接口来对其网页数据进行查询的一套工具。其底层使用了Hadoop来做分布式计算与存储，索引使用了Solr分布式索引框架来做，Solr是一个开源的全文索引框架，从Nutch 1.3开始，其集成了这个索引架构


2. 在哪里要可以下载到最新的Nutch?

在下面地址中可以下载到最新的Nutch 1.3二进制包和源代码
http://mirror.bjtu.edu.cn/apache//nutch/


3. 如何配置Nutch?

   3.1 对下载后的压缩包进行解压，然后cd $HOME/nutch-1.3/runtime/local

   3.2 配置bin/nutch这个文件的权限，使用chmod +x bin/nutch 

   3.3 配置JAVA_HOME，使用export JAVA_HOME=$PATH

4. 抓取前要做什么准备工作?

4.1 配置http.agent.name这个属性，如下
[html] view plaincopy
  1. <pre name="code" class="html"><property>  
  2.     <name>http.agent.name</name>  
  3.     <value>My Nutch Spider</value>  
  4. </property></pre><br>  
  5. <br>  
  6. <pre></pre>  
  7. <pre></pre>  
  8. <pre></pre>  
  9. <pre></pre>  

4.2 建立一个地址目录,mkdir -p urls

   在这个目录中建立一个url文件，写上一些url，如
[html] view plaincopy
  1. http://nutch.apache.org/  

4.3 然后运行如下命令

[html] view plaincopy
  1. bin/nutch crawl urls -dir crawl -depth 3 -topN 5  

注意，这里是不带索引的，如果要对抓取的数据建立索引，运行如下命令
[html] view plaincopy
  1. bin/nutch crawl urls -solr http://localhost:8983/solr/ -depth 3 -topN 5  

5. Nutch的抓取流程是什么样子的？

5.1 初始化crawlDb，注入初始url

[html] view plaincopy
  1. <pre name="code" class="html">bin/nutch inject   
  2. Usage: Injector <crawldb> <url_dir></pre>  
  3. <pre></pre>  
  4. <pre></pre>  
  5. <pre></pre>  
  6. <pre></pre>  


在我本地运行这个命令后的输出结果如下：
[html] view plaincopy
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch inject db/crawldb urls/  
  2.         Injector: starting at 2011-08-22 10:50:01  
  3.         Injector: crawlDb: db/crawldb  
  4.         Injector: urlDir: urls  
  5.         Injector: Converting injected urls to crawl db entries.  
  6.         Injector: Merging injected urls into crawl db.  
  7.         Injector: finished at 2011-08-22 10:50:05, elapsed: 00:00:03  

5.2 产生新的抓取urls

[html] view plaincopy
  1. bin/nutch generate  
  2. Usage: Generator <crawldb> <segments_dir> [-force] [-topN N] [-numFetchers numFetchers] [-adddays numDays] [-noFilter] [-noNorm][-maxNumSegments num]  


本机输出结果如下：
[html] view plaincopy
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch generate db/crawldb/ db/segments  
  2.         Generator: starting at 2011-08-22 10:52:41  
  3.         Generator: Selecting best-scoring urls due for fetch.  
  4.         Generator: filtering: true  
  5.         Generator: normalizing: true  
  6.         Generator: jobtracker is 'local', generating exactly one partition.  
  7.         Generator: Partitioning selected urls for politeness.  
  8.         Generator: segment: db/segments/20110822105243   // 这里会产生一个新的segment  
  9.         Generator: finished at 2011-08-22 10:52:44, elapsed: 00:00:03  

5.3 对上面产生的url进行抓取

[html] view plaincopy
  1. bin/nutch fetch  
  2. Usage: Fetcher <segment> [-threads n] [-noParsing]  

这里是本地的输出结果：
[html] view plaincopy
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch fetch db/segments/20110822105243/  
  2.         Fetcher: Your 'http.agent.name' value should be listed first in 'http.robots.agents' property.  
  3.         Fetcher: starting at 2011-08-22 10:56:07  
  4.         Fetcher: segment: db/segments/20110822105243  
  5.         Fetcher: threads: 10  
  6.         QueueFeeder finished: total 1 records + hit by time limit :0  
  7.         fetching http://www.baidu.com/  
  8.         -finishing thread FetcherThread, activeThreads=1  
  9.         -finishing thread FetcherThread, activeThreads=  
  10.         -finishing thread FetcherThread, activeThreads=1  
  11.         -finishing thread FetcherThread, activeThreads=1  
  12.         -finishing thread FetcherThread, activeThreads=0  
  13.         -activeThreads=0, spinWaiting=0, fetchQueues.totalSize=0  
  14.         -activeThreads=0  
  15.         Fetcher: finished at 2011-08-22 10:56:09, elapsed: 00:00:02  


我们来看一下这里的segment目录结构
[html] view plaincopy
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ ls db/segments/20110822105243/  
  2. content  crawl_fetch  crawl_generate  

5.4 对上面的结果进行解析

[html] view plaincopy
  1. <pre name="code" class="html">bin/nutch parse  
  2. Usage: ParseSegment segment</pre>  
  3. <pre></pre>  
  4. <pre></pre>  
  5. <pre></pre>  
  6. <pre></pre>  

本机输出结果：
[html] view plaincopy
  1. <pre name="code" class="html">lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch parse db/segments/20110822105243/  
  2. ParseSegment: starting at 2011-08-22 10:58:19  
  3. ParseSegment: segment: db/segments/20110822105243  
  4. ParseSegment: finished at 2011-08-22 10:58:22, elapsed: 00:00:02</pre>  
  5. <pre></pre>  
  6. <pre></pre>  
  7. <pre></pre>  
  8. <pre></pre>  

我们再来看一下解析后的目录结构
[html] view plaincopy
  1. <pre name="code" class="html">lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ ls db/segments/20110822105243/  
  2. content  crawl_fetch  crawl_generate  crawl_parse  parse_data  parse_text</pre>  
  3. <pre></pre>  
  4. <pre></pre>  
  5. <pre></pre>  
  6. <pre></pre>  

这里多了三个解析后的目录。


5.5 更新外链接数据库

[html] view plaincopy
  1. bin/nutch updatedb  
  2. Usage: CrawlDb <crawldb> (-dir <segments> | <seg1> <seg2> ...) [-force] [-normalize] [-filter] [-noAdditions]  

本机输出结果：
[html] view plaincopy
  1. <pre name="code" class="html">lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch updatedb db/crawldb/ -dir db/segments/  
  2. CrawlDb update: starting at 2011-08-22 11:00:09  
  3. CrawlDb update: db: db/crawldb  
  4. CrawlDb update: segments: [file:/home/lemo/Workspace/java/Apache/Nutch/nutch-1.3/db/segments/20110822105243]  
  5. CrawlDb update: additions allowed: true  
  6. CrawlDb update: URL normalizing: false  
  7. CrawlDb update: URL filtering: false  
  8. CrawlDb update: Merging segment data into db.  
  9. CrawlDb update: finished at 2011-08-22 11:00:10, elapsed: 00:00:01</pre>  
  10. <pre></pre>  
  11. <pre></pre>  
  12. <pre></pre>  
  13. <pre></pre>  

这时它会更新crawldb链接库，这里是放在文件系统中的，像taobao抓取程序的链接库是用redis来做的，一种key-value形式的NoSql数据库。

5.6 计算反向链接
[html] view plaincopy
  1. <pre name="code" class="html">bin/nutch invertlinks  
  2. Usage: LinkDb <linkdb> (-dir <segmentsDir> | <seg1> <seg2> ...) [-force] [-noNormalize] [-noFilter]</pre>  
  3. <pre></pre>  
  4. <pre></pre>  
  5. <pre></pre>  

本地输出结果：
[html] view plaincopy
  1. <pre name="code" class="html">lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch invertlinks db/linkdb -dir db/segments/  
  2. LinkDb: starting at 2011-08-22 11:02:49  
  3. LinkDb: linkdb: db/linkdb  
  4. LinkDb: URL normalize: true  
  5. LinkDb: URL filter: true  
  6. LinkDb: adding segment: file:/home/lemo/Workspace/java/Apache/Nutch/nutch-1.3/db/segments/20110822105243  
  7. LinkDb: finished at 2011-08-22 11:02:50, elapsed: 00:00:01</pre>  
  8. <pre></pre>  
  9. <pre></pre>  
  10. <pre></pre>  
  11. <pre></pre>  

5.7 使用Solr为抓取的内容建立索引
[html] view plaincopy
  1. bin/nutch solrindex  
  2. Usage: SolrIndexer <solr url> <crawldb> <linkdb> (<segment> ... | -dir <segments>  

Nutch端的输出如下：
[html] view plaincopy
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch solrindex http://127.0.0.1:8983/solr/ db/crawldb/ db/linkdb/ db/segments/*  
[html] view plaincopy
  1. SolrIndexer: starting at 2011-08-22 11:05:33  
[html] view plaincopy
  1. SolrIndexer: finished at 2011-08-22 11:05:35, elapsed: 00:00:02  

Solr端的部分输出如下：
[html] view plaincopy
  1. INFO: SolrDeletionPolicy.onInit: commits:num=1  
  2.        commit{dir=/home/lemo/Workspace/java/Apache/Solr/apache-solr-3.3.0/example/solr/data/index,segFN=segments_1,version=1314024228223,generation=1,filenames=[segments_1]  
  3. Aug 22, 2011 11:05:35 AM org.apache.solr.core.SolrDeletionPolicy updateCommits  
  4. INFO: newest commit = 1314024228223  
  5. Aug 22, 2011 11:05:35 AM org.apache.solr.update.processor.LogUpdateProcessor finish  
  6. INFO: {add=[http://www.baidu.com/]} 0 183  
  7. Aug 22, 2011 11:05:35 AM org.apache.solr.core.SolrCore execute  
  8. INFO: [] webapp=/solr path=/update params={wt=javabin&version=2} status=0 QTime=183  
  9. Aug 22, 2011 11:05:35 AM org.apache.solr.update.DirectUpdateHandler2 commit  
  10. INFO: start commit(optimize=false,waitFlush=true,waitSearcher=true,expungeDeletes=false)  

5.8 在Solr的客户端查询
在浏览器中输入 
[html] view plaincopy
  1. http://localhost:8983/solr/admin/  

查询条件为baidu

输出的XML结构为

如果你要以HTML结构显示把Solr的配置文件solrconfig.xml中的content改为如下就可以
<field name="content" type="text" stored="true" indexed="true"/>

[html] view plaincopy
  1.   

[html] view plaincopy
  1.     <pre name="code" class="html"><response>  
  2. <lst name="responseHeader">  
  3. <int name="status">0</int>  
  4. <int name="QTime">0</int>  
  5. <lst name="params">  
  6. <str name="indent">on</str>  
  7. <str name="start">0</str>  
  8. <str name="q">baidu</str>  
  9. <str name="version">2.2</str>  
  10. <str name="rows">10</str>  
  11. </lst>  
  12. </lst>  
  13. <result name="response" numFound="1" start="0">  
  14. <doc>  
  15. <float name="boost">1.0660036</float>  
  16. <str name="digest">7be5cfd6da4a058001300b21d7d96b0f</str>  
  17. <str name="id">http://www.baidu.com/</str>  
  18. <str name="segment">20110822105243</str>  
  19. <str name="title">百度一下，你就知道</str>  
  20. <date name="tstamp">2011-08-22T14:56:09.194Z</date>  
  21. <str name="url">http://www.baidu.com/</str>  
  22. </doc>  
  23. </result>  
  24. </response>  
  25. </pre><br>  
  26. <pre></pre>  
  27. <pre name="code" class="html"><pre name="code" class="html"><blockquote style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 40px; border-top-style: none; border-right-style: none; border-bottom-style: none; border-left-style: none; border-width: initial; border-color: initial; padding-top: 0px; padding-right: 0px; padding-bottom: 0px; padding-left: 0px; "><pre name="code" class="html"></pre><br>  
  28. <h3><a name="t14"></a>6 参考</h3>  
  29. http://wiki.apache.org/nutch/RunningNutchAndSolr  
  30. <pre></pre>  
  31. <span style="font-family:Arial,Verdana,sans-serif"><span style="white-space:normal"></span></span>  
  32. <pre></pre>  
  33. <blockquote></blockquote>  
  34. <pre></pre>  
  35. <pre></pre>  
  36. <pre></pre>  
  37. <blockquote></blockquote>  
  38. <pre></pre>  
  39. <pre></pre>  
  40. <pre></pre>  
  41.   
  42. </blockquote></pre></pre>  
0 0
黛珂精致水乳 知乎 黛珂精致水乳 知乎
原创粉丝点击
热门IT博客
健身软件有哪些健身软件有哪些
易支付管理系统源码易支付管理系统源码
mysql 查询一年12个月
js 屏蔽右键菜单
单片机吧
显微镜图像软件
欧珀莱柔护防晒知乎
淘宝卖家给买家的标签
java遍历arraylist
单片机电源电路原理图
淘宝经常有的韩国模特
it is said that
穿淘宝货很丢脸吗
mac迅雷看看下载
找不到vb进度条控件
淘宝注销账号什么影响
人工智能 crm
淘宝卖正品supreme的店
淘宝好看又潮的女装店
2016安全知识网络竞赛
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 脸宽怎么办 脸胖怎么办 胖脸 脸皮肤松弛 脸歪怎么办 怎样胖脸 大小脸 脸太大 大脸女生适合的短发 脸变大 大脸怎么办 脸骨大 脸歪了怎么办 长脸变瓜子脸 方脸适合的刘海 胖人女装 方脸怎么瘦脸 脸肥 胖脸女生适合的发型 大脸女生适合的发型 脸长青春痘 胖人服装搭配 胖脸适合什么发型 脸长胖了怎么办 脸越来越胖怎么办 脸越来越大怎么办 脸起痘痘怎么办 如何让脸胖起来 胖脸适合的发型图片 胖女人穿衣搭配 胖脸适合的发型 yy大脸 方脸发型设计 怎样能胖脸 脸胖怎么减肥 胖人衣服搭配 胖mm服装 什么发型适合圆脸 女短发型图片圆脸 2018发型流行趋势圆脸女图片 男生短发发型大全圆脸

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里