gecco 1.1.0稳定版发布,易用的轻量化爬虫
来源:互联网 发布:ecshop源码 编辑:程序博客网 时间:2024/05/07 12:20
gecco 1.1.0稳定版发布了。
1.1.0版本主要做了如下修改:
1.优化代理设置,运行时计算代理下载成功率,自动发现无效代理,支持运行时添加代理
2.HttpClientDownloader支持类似12306网站非信任ssl证书
3.JsonBean支持嵌套解析
4.修复部分网站302无法跳转的bug
5.优化debug日志输出
gecco是一款易用的轻量化网络爬虫。十分的容易上手。
主要特征:
1.简单易用,使用jquery风格的选择器抽取元素
2.支持页面中的异步ajax请求
3.支持页面中的javascript变量抽取
4.利用Redis实现分布式抓取,参考gecco-redis
5.支持结合Spring开发业务逻辑,参考gecco-spring
6.支持htmlunit扩展,参考gecco-htmlunit
7.支持插件扩展机制
8.支持下载时UserAgent随机选取
9.支持下载代理服务器随机选取
0 0
- gecco 1.1.0稳定版发布,易用的轻量化爬虫
- gecco 1.0.9 发布,易用的轻量化爬虫
- 用Gecco爬虫采集数据
- Apache Cassandra 1.1.0 稳定版发布
- 用nodejs搭建最简单、轻量化的http server
- 用nodejs搭建最简单、轻量化的http server
- 用nodejs搭建最简单、轻量化的http server
- 用nodejs搭建最简单、轻量化的http server
- Gecco爬虫框架的线程和队列模型
- gecco爬虫多个HtmlBean 匹配同一个matchUrl的问题
- 打造轻量化的View Controller
- 打造轻量化的View Controller
- 轻量化ViewController的几个小技巧
- Android 轻量化组件 PopupMenu 的使用
- crawler爬虫demo, 基于gecco
- 源于aFinal的xUtils稳定版发布
- Nihao Flash3D v1.0稳定版发布
- Nihao Flash3D v1.0稳定版发布
- SOC设计/验证/软件/算法/流程开发平台
- UNPv1第八章:基本UDP套接口编程
- Apache Commons 工具包
- java解析JSON步骤
- iOS中各种风格时间轴的设计及总结
- gecco 1.1.0稳定版发布,易用的轻量化爬虫
- 剑指offer(17):反转链表
- redis.conf配置详细解析
- android报错汇总
- SVN服务器搭建和使用(一)
- sql SERVER md5
- Android事件分发机制完全解析,带你从源码的角度彻底理解(上)
- ROS安装使用中遇到的问题及解决办法(包括ubuntu)
- Error:Cause: org/gradle/api/publication/maven/internal/DefaultMavenFactory Android