Grabage开源采集工具发布
来源:互联网 发布:成都mac官方售后在哪里 编辑:程序博客网 时间:2024/06/06 01:17
Grabage开源采集工具 CSDN首发
关键词:
开源,源码,open source,java,htmlunit,采集
发布网址:
http://code.google.com/p/grabage/
发布版本:
grabage_0.1_nk
- 提供最基础的采集功能,有经验的开发人员可以将其嵌入到系统模块中用于采集数据。
- nk版本的内容检查不算完整,只能匹配部分发布时间,对于部分网页将作者,来源,发布时间混合在一起的情况,未能很好的解决。
- 该问题会在将来的版本中处理,不会再更新nk版本。源码中未包含图片等资源采集。
开发说明:
近来研究网站建设的时候发现采集工具这么个东西,用来帮助站长抓取数据,使广大站长摆脱繁琐的复制粘贴。看到一些国产CMS自带采集工具,颇为实用。
想起来造轮子单独写一个采集程序有几个原因:
- 在服务器自动运行的采集工具会消耗服务器的资源,一些免费的站用起来难免战战兢兢,准备随时被K。
- 一些号称免费的工具会打Logo在内容里,要去掉需要付费。
- 正则匹配的网页有一些先天的缺陷,也就是内容不成对,当出现嵌套的div时会让抓取配置变得异常艰难
鉴于此,决定用Java写一个开源的工具,方便同学们采集。本程序可客户端运行,采集后的数据暂未处理,代码开源,所以不用担心程序搜集登录信息,有编程经验者可自行修改。
源码供个人站长及劳苦大众研究使用,但禁止将其已任何形式用于商业活动。
详细使用权限请参阅《GNU General Public License v3》
再一次强调的是:采集有风险,小心被K站。
简易使用手册:
首先在http://code.google.com/p/grabage/downloads/list 中下载指定的源码版本,如grabage_0.1_nk_src.zip
需要使用的组件可在该路径下下载,有经验的开发人员可自行至其主站上下载最新版本,下面是文件需要的组件列表:
- xalan-2.7.1.jar htmlunit Jun 21 3.0 MB 0
- xml-apis-1.3.04.jar htmlunit Jun 21 189 KB 0
- xercesImpl-2.9.1.jar htmlunit Jun 21 1.2 MB 0
- serializer-2.7.1.jar htmlunit Jun 21 271 KB 0
- sac-1.3.jar htmlunit Jun 21 15.4 KB 0
- nekohtml-1.9.14.jar htmlunit Jun 21 121 KB 0
- htmlunit-core-js-2.7.jar htmlunit Jun 21 889 KB 0
- htmlunit-2.7.jar htmlunit Jun 21 878 KB 0
- cssparser-0.9.5.jar htmlunit Jun 21 247 KB 0
- commons-logging-1.1.1.jar htmlunit Jun 21 59.3 KB 0
- commons-lang-2.4.jar htmlunit Jun 21 255 KB 0
- commons-io-1.4.jar htmlunit Jun 21 106 KB 0
- commons-httpclient-3.1.jar htmlunit Jun 21 297 KB 0
- commons-collections-3.2.1.jar htmlunit Jun 21 561 KB 0
- commons-codec-1.4.jar htmlunit Jun 21 56.8 KB 0
- dom4j-2.0.0-ALPHA-2.jar dom4j Jun 21 332 KB 0
1 - 16 of 16
下载后 用ide(如eclipse)引入源码,将源码中resource的路径指定到编译路径下,编译运行ReadCenter,如控制台输出>>>LINK>>>http://portal.czol.info/news/money 则正常通过,如报异常,请检查工程路径配置。
技巧1,添加新的采集站时可用read包下的两个测试类测试,缩短时间。
技巧2,路径采用xpath语法,在firefox中有一个叫xpath checker的组件,可以很方便的搜索当前页面的xpath。安装后在页面中点击鼠标右键即可看到。
- Grabage开源采集工具发布
- 四款有名的开源海量数据采集工具
- 四款有名的开源海量数据采集工具
- 分类信息采集发布采集器软件
- 主机资产采集开源工具osqeury使用后的心得
- 网页信息采集工具
- mycat 性能采集工具
- 缩略图采集工具类
- 六大数据采集工具
- 工具-采集数据
- 天气采集工具--感触
- Google发布开源的搜索引擎开发工具
- 开源可视化 Python 性能调优工具 VPT 发布
- 发布一个开源的正则表达式测试工具
- 开源可视化 Python 性能调优工具 VPT 发布
- 开源可视化 Python 性能调优工具 VPT 发布
- 开源可视化 Python 性能调优工具 VPT 发布
- IBM发布开源HTML5可视化设计工具Maqetta
- 总结归纳:110个Oracle 常用函数的总结
- 第一次CSDN写博客
- 建筑和软件中模式之异同
- linux shell 解压缩
- magento -- 产品列表的产品自定义顺序以及修改默认排序后的变化
- Grabage开源采集工具发布
- Active Set, Monitored Set and Detected Set in WCDMA
- PHP代码编写规范
- oracle安装步骤
- Objective-C内存管理总结[转自cocoachina之dboylx]
- 数据源(DATASource)配置
- vs2008编译Xvid源代码 1.2.2版本
- 用Visual C#创建Windows服务程序
- 谁能发给一个 在winCE注册dbmlyccom.dll