heritrix的一个简单例子
来源:互联网 发布:unity3d 中文文档 编辑:程序博客网 时间:2024/06/16 18:12
(1) WUI的上边的导航栏选择"Jobs",呈现的第一项是"Create New Job",选择第四小项"With defaults"。输入项的
前两项Name和Description随意,Seeds非常重要:http://www.baidu.com/ 注意最后一个反斜杠必须。
(2) 选择下边的"Modules",进入Module配置页(Heritrix的扩展功能都是通过模块概念实现的,可以实现自己的模块完成自己想要的功能)。其中第一项 "Select Crawl Scope" 使用默认的"org.archive.crawler.deciderules.DecidingScope" 。 倒数第三项 "Select Writers " 删除默认的 "org.archive.crawler.writer.ARCWriterProcessor" ,后添加
"org.archive.crawler.writer.MirrorWriterProcessor",这样执行任务的时候抓取到的页面会以镜像的方式放在本地的
目录结构中,而不是生成ARC存档文件。
(3) 选择"Modules"右边的"Submodules",在第一项内容中 "crawl-order ->scope->decide-rules->rules" 删除掉其
中的 "acceptIfTranscluded" (org.archive.crawler.deciderules.TransclusionDecideRule) 的这一项抓取作用域的
规则。否则当Http请求返回301或者302时Heritrix会去抓取其他域下的网页。
(4) 在WUI的第二行导航栏中选择"Settings"进入Job的配置页面,其中主要修改两项:http-headers 下的user-agent 和
from,他们的"PROJECT_URL_HERE" 和 "CONTACT_EMAIL_ADDRESS_HERE" 替换为自己的内容
("PROJECT_URL_HERE" 要以 "http://" 开头)
(5) 在WUI的第二行导航栏中选择最右边的"Submit job"
(6) 在WUI的第一行导航栏中选择第一项的"Console",点击"Start",抓取任务正式开始,时间长短有网络状况和所抓取网站的深度有关。
备注:
关键字: heritrix user-agent fatalconfigurationexception
如果配置一个任务后,启动控制台窗口中出现异常
Java代码
+0000 严重 org.archive.crawler.framework.CrawlController initialize On crawl: Dev You must set the User-Agent and From HTTP header values to acceptable strings.
User-Agent: [software-name](+[info-url])[misc]
From: [email-address]
org.archive.crawler.framework.exceptions.FatalConfigurationException: unacceptable user-agent or from (Reedit your order file).
+0000 严重 org.archive.crawler.framework.CrawlController initialize On crawl: Dev You must set the User-Agent and From HTTP header values to acceptable strings.
User-Agent: [software-name](+[info-url])[misc]
From: [email-address]
org.archive.crawler.framework.exceptions.FatalConfigurationException: unacceptable user-agent or from (Reedit your order file).
这是因为设置的这两个参数不正确或者没有设置。
user-agent主要是指运行Heritrix的用户的配置,即使用者的机器配置。
首先是浏览器的选择,比如IE/7.0;其中 @VERSION@是指使用Heritrix的版本号,这里应该是1.14.1;
最后面的PROJECT_URL_HERE是指本机地址,比如
http://192.168.1.99
from是指一个Email联系方式,可以输入一个Email地址,例如
lin.net@163.com。
本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/jkant/archive/2009/06/04/4242909.aspx
- heritrix的一个简单例子
- heritrix的一个简单例子
- Heritrix一个简单的Job
- 一个简单的例子
- openmp 例子:一个简单的OpenMP例子
- 一个简单的Struts例子
- 一个简单的Hibernate例子!
- auto_ptr的一个简单例子
- 一个简单的Struts例子
- 一个简单的JSF例子
- 一个简单的EJB例子!!
- 一个简单的serverclick 例子
- 一个简单易懂的例子
- 一个GMF的简单例子
- 一个简单的GUI例子
- 一个简单的Hibernate例子
- 一个简单的NHibernate例子
- 一个简单的EJB例子!!
- C语言中的 宏 详解
- 虚函数的详解virtual
- ubuntu9.10更新后GRUB无法开机
- apache2.2+tomcat6.0集群/负载均衡
- Eclipse下配置heritrix
- heritrix的一个简单例子
- wpf 中 获取单元格的值
- NoSQL数据库探讨之一 - 为什么要用非关系数据库?
- Lucene3.0(2.9)中对于TokenStream的遍历方法!
- Think Different - 从苹果的用户体验说JavaEye的用户体验
- 流媒体CDN解决方案
- OpenSIPS将由1.X升级为2.0, 架构重新设计(2.0 Design)
- hello!!
- 谢谢你