Heritrix3.1.1使用教程

来源：互联网发布：java开发文档编辑：程序博客网时间：2024/05/29 06:57

1.在cmd下面进入Heritrix的bin目录下

输入heritrix -a admin:admin，弹出新窗口，新窗口中运行heritrix

2.浏览中输入https://localhost:8443/

得到界面如下

第一个输入框中写入任意Job名称，如s

第二个输入框如果不写则默认存储在bin目录下的jobs文件夹下

3.点击create后：

4.点击"s"任务：

crawler-beans.cxml是配置本次抓取网页的配置文件

5.点击edit：

修改配置文件中的内容，点击左上角的"save change"保存本次修改

第一个参数：可以填写你的ip（好像用了路由器的网络就不行了，不知是不是我弄错了？）

第二个参数：填写你的Job名称（和前面填写的一致）

第三个参数：填写描述

添加要爬取的网页

此处修改最后一个属性：把Version改为3.1.0，后面为你的联系方式（如果不填可能有的网站会拒绝被抓取）

返回job界面，build->launch->刷新->uppause，会看到Job的状态为Running