【垂直搜索引擎搭建02】heritrix启动
来源:互联网 发布:伊朗 知乎 编辑:程序博客网 时间:2024/05/17 04:12
一、dos命令下运行程序
(1)下载heritrix
(2)建立一个runheritrix.bat文件
runheritrix.bat文件代码:
%~d0cd %~dp0java -Xmx512m -Dheritrix.home=./heritrix -cp "./heritrix/heritrix-1.14.4.jar;./heritrix/lib/ant-1.6.2.jar;./heritrix/lib/bsh-2.0b4.jar;./heritrix/lib/commons-cli-1.0.jar;./heritrix/lib/commons-codec-1.3.jar;./heritrix/lib/commons-collections-3.1.jar;./heritrix/lib/commons-httpclient-3.1.jar;./heritrix/lib/commons-io-1.3.1.jar;./heritrix/lib/commons-lang-2.3.jar;./heritrix/lib/commons-logging-1.0.4.jar;./heritrix/lib/commons-net-2.0.jar;./heritrix/lib/commons-pool-1.3.jar;./heritrix/lib/dnsjava-2.0.3.jar;./heritrix/lib/fastutil-5.0.3-heritrix-subset-1.0.jar;./heritrix/lib/itext-1.2.0.jar;./heritrix/lib/jasper-compiler-tomcat-4.1.30.jar;./heritrix/lib/jasper-runtime-tomcat-4.1.30.jar;./heritrix/lib/javaswf-CVS-SNAPSHOT-1.jar;./heritrix/lib/je-3.3.82.jar;./heritrix/lib/jericho-html-2.6.jar;./heritrix/lib/jets3t-0.5.0.jar;./heritrix/lib/jetty-4.2.23.jar;./heritrix/lib/joda-time-1.6.jar;./heritrix/lib/junit-3.8.2.jar;./heritrix/lib/libidn-0.5.9.jar;./heritrix/lib/mg4j-1.0.1.jar;./heritrix/lib/poi-2.0-RC1-20031102.jar;./heritrix/lib/poi-scratchpad-2.0-RC1-20031102.jar;./heritrix/lib/servlet-tomcat-4.1.30.jar" org.archive.crawler.Heritrix
(3)直接运行runheritrix.bat文件
(4)在地址栏输入127.0.0.1:9090
成功登录WebUI后,初始界面如图所示:
选择“Jobs”链接,开始建立一个抓取任务
创建一个Job(Create New Job)有四种选择方式:
Based On Existing Job:
Based On a recovery:
Based On a profile:
With Default:
此处选择默认:
二、ecplise下运行程序
配置完成后,运行步骤与dos下配置运行一致
0 0
- 【垂直搜索引擎搭建02】heritrix启动
- 【垂直搜索引擎搭建01】heritrix环境搭建
- 【垂直搜索引擎搭建04】heritrix:扩展Extractor
- 【垂直搜索引擎搭建07】heritrix工具化
- 【垂直搜索引擎搭建05】heritrix:Queue-assignment-policy
- 【垂直搜索引擎搭建06】heritrix:取消Robot.txt限制
- 搜索引擎搭建:heritrix+lucene
- 【垂直搜索引擎搭建03】heritrix:扩展FontierScheduler抓取特定的信息
- 【垂直搜索引擎搭建00】说在前面的话
- 【垂直搜索引擎搭建08】HtmlParser构建
- 【垂直搜索引擎搭建09】HtmlParser案例代码
- 【垂直搜索引擎搭建12】htmlparser简介
- 启动heritrix
- 垂直搜索引擎
- 【垂直搜索引擎搭建10】HtmlParser中Filter实践
- 【垂直搜索引擎搭建13】HtmlParser中Visitor实践
- Heritrix简易搜索引擎实现步骤
- Heritrix安装及启动
- jquery使用ajax提交表单
- Java经典实例代码
- POJ 2155 Matrix(二维树状数组)
- 夏令营day9总结
- [LeetCode] sort-list
- 【垂直搜索引擎搭建02】heritrix启动
- poj 3259 Wormholes
- 不用category.HOME启动Launcher
- linux_windows双系统_方向下键不能用怎么办
- 深入研究:内存&字符串&结构体&共用体&枚举
- English Daily - August 12,2016-Letty
- JDBC基础编程
- A+B
- 判断括号匹配程序