heritrix1.14.4安装与配置
来源:互联网 发布:corel有什么软件 编辑:程序博客网 时间:2024/06/11 13:51
以1.12.1版本为例,后续版本类似:
1.关于安装:
目前的版本号为1.12.1,官网地址为 http://crawler.archive.org/。常规安装,即解压到相关目录,之后配置系统环境变量"HERITRIX_HOME"到该解压目录(Java环境已经配置好)。
2.安装的后续工作:
将 %HERITRIX_HOME%/heritrix-1.12.1.jar 解压到临时目录,拷贝其中的profiles/defaults目录到 %HERITRIX_HOME%/conf/目录下,用来解决Heritrix 关于的Profile默认配置的一个Bug。
3.配置管理帐户:
拷贝 %HERITRIX_HOME%/conf/jmxremote.password.template 到 %HERITRIX_HOME%/下,并且重命名为"jmxremote.password"。之后编辑该文件内容关于密码的部分:
monitorRole @PASSWORD@ monitorRole admin
controlRole @PASSWORD@ ==> controlRole admin
修改完毕之后,保存该文件。并且需要将该文件的属性改为“只读”。然后有很重要的一步:在该文件jmxremote.password的属性窗口中查看“安全”标签,该标签下的第一项“组或用户名称”下要确认该文件的所有权应该只隶属于你当前的系统用户,而不应该是某一个用户组(例如Administrators),这应该是Heritrix安全机制的一个Bug。否则运行Heritrix的时候会报权限错误,需要你修改jmxremote.password文件的属性为“只读”,但是其实已经做了该项改动。
4.运行Heritrix:
CMD定位到 %HERITRIX_HOME%/bin,执行 "heritrix --admin=admin:admin" 命令,即可启动 heritrix,有一点需要注意,heritrix默认使用8080端口,要保证系统端口没有冲突。之后便可以访问 http://127.0.0.1:8080 使用 heritrix 提供的WUI,即Web管理端。并且使用"admin/admin"登录。
该管理端提供了Heritrix默认提供的所有配置功能,并且可以创建一个Job并且执行该Job抓取网站。
5.一个简单的Job:
Heritrix提供的配置功能非常丰富,但是也很复杂,刚开始的时候很难正确的创建并且执行一个Job去抓取网站,自己阅读了大部分的Heritrix用户文档和多次尝试之后,总结了一个简单的创建执行Job的用例,该用例为抓取www.baidu.com下的网页,但子域(如 news.baidu.com)不抓取,步骤如下,可供参考:
(1) WUI的上边的导航栏选择"Jobs",呈现的第一项是"Create New Job",选择第四小项"With defaults"。输入项的前两项
Name和Description随意,Seeds非常重要:http://www.baidu.com/ 注意最后一个反斜杠必须。
(2) 选择下边的"Modules",进入Module配置页(Heritrix的扩展功能都是通过模块概念实现的,可以实现自己的模块完成自己
想要的功能)。其中第一项 "Select Crawl Scope" 使用默认的 "org.archive.crawler.deciderules.DecidingScope"
。倒数第三项 "Select Writers " 删除默认的 "org.archive.crawler.writer.ARCWriterProcessor" ,后添加
"org.archive.crawler.writer.MirrorWriterProcessor",这样执行任务的时候抓取到的页面会以镜像的方式放在本地的
目录结构中,而不是生成ARC存档文件。
(3) 选择"Modules"右边的"Submodules",在第一项内容中 "crawl-order ->scope->decide-rules->rules" 删除掉其
中的 "acceptIfTranscluded" (org.archive.crawler.deciderules.TransclusionDecideRule) 的这一项抓取作用域的
规则。否则当Http请求返回301或者302时Heritrix会去抓取其他域下的网页。
(4) 在WUI的第二行导航栏中选择"Settings"进入Job的配置页面,其中主要修改两项:http-headers 下的user-agent 和
from,他们的"PROJECT_URL_HERE" 和 "CONTACT_EMAIL_ADDRESS_HERE" 替换为自己的内容
("PROJECT_URL_HERE" 要以 "http://" 开头)
(5) 在WUI的第二行导航栏中选择最右边的"Submit job"
(6) 在WUI的第一行导航栏中选择第一项的"Console",点击"Start",抓取任务正式开始,时间长短有网络状况和所抓取网站的
深度有关。
按照如上步骤应该可以正确的执行一次网站的抓取任务,抓取页面会存放在你的工作目录下的mirror文件夹内。关于Job的创建和执行过程中的各种设置可以在用户手册中查到,都有详细的说明。
- heritrix1.14.4安装与配置
- windows下配置Heritrix1.14.4安装配置
- Heritrix1.14.4安装配置和使用
- 网络爬虫Heritrix1.14.4在MyEclipse中的安装配置与使用教程
- Heritrix1.14.4配置
- eclipse下配置Heritrix1.14.4
- 在MyEclipse7.5配置Heritrix1.14.4
- 在Myeclise中配置heritrix1.14.4
- Heritrix1.14.4在Eclipse中的配置
- heritrix1.14.4配置-没有add和change按钮的问题
- 在 eclipse 下的heritrix1.14.4的配置
- Heritrix1.14.4在Eclipse的配置和使用
- heritrix1.14.4配置-没有add和change按钮的问题
- eclipse中配置heritrix1.14.3
- eclipse中配置heritrix1.14.3
- Heritrix1.14.4抓取任务设置
- heritrix1.14.4 源代码在eclipse下最简单的配置方法-------不会报错!
- 最新heritrix1.14.3的配置过程
- Tomcat如何修改登录权限
- Android入门小结(转)
- nasm在gedit中语法高亮
- heritrix3伪装成GOOGLE进行爬取
- 常用实例化Spring容器的方法
- heritrix1.14.4安装与配置
- 实例化bean的方式
- HtmlParser抽取页面文本内容的方法总结
- LAMP兄弟连李明Linux原创视频教程——Linux基础知识与系统管理
- 竭尽全力
- 一些网站
- heritrix的启动问题
- jar打包方法
- 征询大家意见