有哪些好的网络爬虫框架?
来源:互联网 发布:新郎致辞 知乎 编辑:程序博客网 时间:2024/04/26 01:47
很多想写网络爬虫的同学会关心目前有哪些好用的爬虫框架,于是我就搜集了一些一些爬虫框架的简单介绍供大家参考:
1、神箭手云爬虫框架(http://www.shenjianshou.cn/)
这是一个免费的网络爬虫框架,为开发者提供成套的开发教程和开发工具,为企业提供专业化的数据抓取、数据实时监控和数据分析服务。
最大的特点是一站式服务,通过底层框架简化了网络爬虫开发难度,而且提供了丰富的开源网络爬虫资源。
2、Nutch(http://nutch.apache.org/)
这是一个开源Java 实现的搜索引擎,提供了我们运行自己的搜索引擎所需的全部工具,包括全文搜索和Web爬虫。Nutch目前最新的版本为version v2.3。
3、Crawler4j
Crawler4j是一个开源的Java类库提供一个用于抓取Web页面的简单接口。可以利用它来构建一个多线程的Web爬虫。
4、WebMagic(http://webmagic.io/)
WebMagic是一个简单灵活的Java爬虫框架。
它的特性包括:简单的API,可快速上手;模块化的结构,可轻松扩展;提供多线程和分布式支持
5、Heritrix(http://crawler.archive.org/)
这是一个由 java 开发的、开源的网络爬虫,用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取逻辑。
0 0
- 有哪些好的网络爬虫框架?
- 学习网络有哪些好用的工具
- Php的框架有哪些
- 上海有哪些好一点的软件公司
- 好的工作习惯有哪些
- 有哪些1231234好的建议呢
- 好的编程习惯有哪些
- 有哪些好的 LaTeX 编辑器?
- 找工作的网站有哪些好
- 【转】好的工作习惯有哪些
- 有哪些好的软件外包网站
- 常用的android开发框架有哪些
- 常用的android开发框架有哪些
- Ajax的常用框架有哪些?
- Ajax的常用框架有哪些?
- Android常用的框架有哪些
- Android常用的框架有哪些
- 有哪些目前流行的前端框架
- MVC的创建
- SQL Server 2016 创建用户 配置权限
- Ubuntu 15.04 搜狗输入法 无法切换到英文输入
- Maven依赖机制(七)
- Oracle EBS财务模块(三)总账功能
- 有哪些好的网络爬虫框架?
- unity3d gameobject拖拽事件
- 关于哥德尔证明
- mybatis之resultType返回值
- Minimum Moves to Equal Array Elements(最少移动步长使数组中元素相等)
- 2017/4/22inlinehook学习
- 定制库到Maven本地资源库(八)
- Make工程管理器
- SSD的配置及运行