Heritrix在eclipse中的配置过程（1.14.4版本）

Eclipse中配置使用Heritrix-1.14.4

在网上找了不少方法，但配置之后均可以登录，但配置抓取任务的moudles的时候网页不正常显示（百度了以下应该是某些文件没有执行，具体的原理等了解以后再补充），下面这种方法显示正常：

1. 下载并解压heritrix-1.14.4-src.zip和heritrix-1.14.4.zip;


2. 在Eclipse中新建java project，项目名定为HeritrixProject;


3. 将解压后的heritrix-1.14.4-src.zip中src/java/下的com,org,st文件夹复制到工程的src目录下;


4. 将src/conf下的modules,profiles,selftest文件夹和heritrix.propertries,jndi.properities文件复制到工程的src目录下;


5. 解压heritrix-1.14.4-zip将webapps文件夹复制到工程根目录下;


6. 将heritrix-1.14.4-src.zip解压中src/resources/org/archive/util中tlds-alpha-by-domain.txt文件复制到工程中org.archive.util包下;


7. 将heritrix-1.14.4-src.zip解压中lib文件夹复制到项目根目录;


8. 打开工程中的heritrix.propertries文件修改以下配置项


   a) heritrix.version= 1.14.4，配置heritrix版本号


   b) heritrix.jobsdir= jobs，配置爬取的内容的放置文件夹


   c) heritrix.cmdline.admin=username:password，配置webUI登录的用户名和密码


   d) heritrix.cmdline.port= 8088，配置webUI的登录端口


9. 将lib文件夹下的后有jar包加入到工程的classpath中(工程右键build path);


10. 在工程中找到org.archive.crawler下的Heritrix.java运行,成功运行结果如下：


10:19:37.985 EVENT  Starting Jetty/4.2.23
10:19:38.139 EVENT  Started WebApplicationContext[/,Heritrix Console]
10:19:38.227 EVENT  Started SocketListener on 127.0.0.1:8088
10:19:38.227 EVENT  Started org.mortbay.jetty.Server@5861
Heritrix version: 1.14.4


11.打开浏览器，输入地址：http://localhost:8088输入用户名和密码就可以登录到后台,如下图所示：




可能遇到的异常：


1>Thread-10 org.archive.util.ArchiveUtils.<clinit>() TLD list unavailable


solution：将解压后的heritrix-1.14.4-src.zip中src/resources/下中将文件org/archive/util/tlds-alpha-by-domain.txt复制到工程中的org/archive/util目录下即可;


2> Exception in thread "main" org.mortbay.util.MultiException[java.net.BindException: Address already in use: JVM_Bind]


solution: 由于端口被占用，可先关闭Eclipse停止相关进程，然后在开启即可;


3> 找不到类 sun.net.www.protocol.file.FileURLConnection:


solution: sun包是受保护的包，默认只有sun公司的软件才能使用。Eclipse会报错，把对保护使用warning就可以了。Windows -> Preferences -> Java -> Compiler -> Errors/Warnings-> Deprecated and trstricted API -> Forbidden reference (access rules): -> change to warning;


4> The method finalTasks() of type AdaptiveRevisitFrontier must override a superclass method:


Solution: 去掉该类中此方法上方的@Override即可;


5> Sometimes, 各个包及文件都没错，Heritrix仍会报错，尝试将工程目录下的爬取内容的放置文件夹jobs去掉。