android数据获取 java爬虫 Gecco
来源:互联网 发布:手机手柄映射软件 编辑:程序博客网 时间:2024/06/07 08:35
Gecco是什么
Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架,让您只需要配置一些jquery风格的选择器就能很快的写出一个爬虫。Gecco框架有优秀的可扩展性,框架基于开闭原则进行设计,对修改关闭、对扩展开放。同时Gecco基于十分开放的MIT开源协议,无论你是使用者还是希望共同完善Gecco的开发者,欢迎pull request。如果你喜欢这款爬虫框架请star 或者 fork!
主要特征
- 简单易用,使用jquery风格的选择器抽取元素
- 支持爬取规则的动态配置和加载
- 支持页面中的异步ajax请求
- 支持页面中的javascript变量抽取
- 利用Redis实现分布式抓取,参考gecco-redis
- 支持结合Spring开发业务逻辑,参考gecco-spring
- 支持htmlunit扩展,参考gecco-htmlunit
- 支持插件扩展机制
- 支持下载时UserAgent随机选取
- 支持下载代理服务器随机选取
官网
http://www.geccocrawler.com/
github
https://github.com/xtuhcy/gecco
阅读全文
0 0
- android数据获取 java爬虫 Gecco
- 用Gecco爬虫采集数据
- 使用Gecco写Java简单爬虫
- 教您使用java爬虫gecco抓取JD全部商品信息
- java爬虫gecco监控来了,不再裸奔
- 使用轻量级JAVA 爬虫Gecco工具抓取新闻DEMO
- crawler爬虫demo, 基于gecco
- 教您使用java爬虫gecco抓取JD全部商品信息(一)
- 教您使用java爬虫gecco抓取JD全部商品信息(二)
- 教您使用java爬虫gecco抓取JD全部商品信息(三)
- Gecco开源爬虫框架入门
- python爬虫-->获取数据
- Java:java爬虫获取动态网页的数据
- 行政区划官方数据--java对象或json-java爬虫获取
- [Android] - Jsoup实现网络爬虫,获取糗事百科数据
- JAVA 爬虫获取js动态生成的网页数据
- Java爬虫进阶-Jsoup+httpclient获取动态生成的数据
- gecco 1.0.9 发布,易用的轻量化爬虫
- html插入表单
- oracle之SQL语句查询
- 算法笔记(1) 桶排序和插入排序
- centos6.7下的docker安装
- JavaScript基础-一揽子方案
- android数据获取 java爬虫 Gecco
- 关于使用c3p0乱码问题
- java注解
- oracle控制文件
- winform的微信扫描支付
- oracle管理重做日志文件
- 贪心——BZOJ4813/Luogu3698 [CQOI2017]小Q的棋盘
- SpringMVC自定义拦截器
- oracle创建表空间