nutch全网爬行的底层命令
来源:互联网 发布:js调用webservice接口 编辑:程序博客网 时间:2024/04/30 09:23
最近在研究nutch,找到了关于使用底层命令进行全网爬行的资料。
首先获得网址集,使用http://rdf.dmoz.org/rdf/ 目录下的content.example.txt 文件做测试,建立文件夹dmoz
命令:bin/nutch org.apache.nutch.tools.DmozParser content.example.txt >dmoz/urls
注射网址到crawldb数据库:
命令:bin/nutch inject crawl/crawldb dmoz
创建抓取列表:
命令:bin/nutch generate crawl/crawldb crawl/segments
把segments下的文件保存到变量s1中,供以后调用:
命令:s1=`ls -d crawl/segments/2* | tail -1`
命令:echo $s1
注`不是单引号,而是左上角跟~一个键位的那个
运行fetcher获取这些url信息:
命令:bin/nutch fetch $s1
更新数据库,把获取的页面信息存进数据库中:
命令:bin/nutch updatedb crawl/crawldb $s1
第一次抓取结束。
接下来选择分值排在前10的url来进行第二次和第三次抓取:
命令:bin/nutch generate crawl/crawldb crawl/segments -topN 10
命令:s2=`ls -d crawl/segments/2* | tail -1`
命令:echo $s2
命令:bin/nutch fetch $s2
命令:bin/nutch updatedb crawl/crawldb $s2
命令:bin/nutch generate crawl/crawldb crawl/segments -topN 10
命令:s3=`ls -d crawl/segments/2* | tail -1`
命令:echo $s3
命令:bin/nutch fetch $s3
命令:bin/nutch updatedb crawl/crawldb $s3
根据segments的内容更新linkdb数据库:
命令:bin/nutch invertlinks crawl/linkdb crawl/segments/*
建立索引:
命令:bin/nutch index crawl/indexes crawl/crawldb crawl/linkdb crawl/segments/*
可以通过此命令进行查询:
命令:bin/nutch org.apache.nutch.searcher.NutchBean faq 此处的faq代表所要搜索的关键词
- nutch全网爬行的底层命令
- nutch全网爬行的底层命令
- Nutch索引增量爬行
- Nutch的命令详解
- Nutch的命令详解
- Nutch 的命令
- Nutch的命令详解
- Nutch的命令详解
- Nutch的命令详解
- Nutch的命令详解
- nutch研究记录3(增量爬行)
- Nutch 初体验 爬行企业内部网
- Nutch源代码学习-解读Nutch-运行,爬行过程
- 5条Linux命令分析搜索引擎蜘蛛的爬行行为
- nutch的一些读取命令
- nutch的一些读取命令
- [Nutch]Solr命令的使用
- 执行./nutch 命令后出现的nutch脚本用法解读
- 三角函数列表
- 桌面美化小软件
- ant安装配置使用详解
- Parallel Studio 2011 中的Intel c++ 命令行
- nutch的一些读取命令
- nutch全网爬行的底层命令
- JAVA中创建一个对象有哪几种方法,有什么区别?
- Linux netstat 命令详解
- Java.util.date 与 java.sql.date区别和转换
- JAVA中初始化顺序
- SQL SERVER 系统表应用
- Python学习笔记之面向对象
- Ubuntu下android开发小技巧
- 再深入 HTTP Referer【转】