pyspider安装配置
来源:互联网 发布:ajaxupload.js 编辑:程序博客网 时间:2024/06/02 04:06
关于
首先,在此附上项目的地址,以及官方文档
PySpider 官方文档
安装
1. pip
首先确保你已经安装了pip,若没有安装,请参照
pip安装
2. phantomjs
PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速、原生支持各种Web标准:DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。
安装
以上附有官方安装方式,如果你是 Ubuntu 或 Mac OS X用户,可以直接用命令来安装
Ubuntu:
Mac OS X:
3. pyspider
直接利用 pip 安装即可
如果你是 Ubuntu 用户,请提前安装好以下支持类库
测试
如果安装过程没有提示任何错误,那就证明一些OK。
命令行输入
然后浏览器访问 http://localhost:5000
观察一下效果,如果可以正常出现 PySpider 的页面,那证明一切OK
在此附图一张,这是我写了几个爬虫之后的界面。
好,接下来我会进一步介绍这个框架的使用。
常见错误
我曾遇到过的一个错误:
PySpider HTTP 599: SSL certificate problem错误的解决方法 ,后来在作者那发了issue得到了答案,其他的暂时没什么问题。
不过发现有的小伙伴提了各种各样的问题啊,不过我确实都没遇到过,我再Win10,Linux Ubuntu,Linux CentOS,Mac OS X都成功运行。不过确实有些奇怪的问题,跑着跑着崩了,一点就崩了我也就比较纳闷了。
如果大家有问题,可以看看作者项目里面有没有类似的issue,另外也推荐大家直接到作者的GitHub上发issue。
毕竟,这个框架不是我写的。
在此附上Issue地址:
PySpider Issue
转载自:静觅 » Python爬虫进阶二之PySpider框架安装配置
- PySpider框架安装配置
- pyspider安装配置
- pyspider 爬虫 快速入门 |框架安装配置
- pyspider安装
- pyspider 安装
- windows win7配置pyspider
- anaconda 安装pyspider出错
- Pyspider的安装使用
- python2.7安装pyspider
- CentOS7.2安装pyspider
- ubuntu下安装pyspider
- redhat下pyspider安装
- Python:安装pyspider
- ubuntu 安装 pyspider
- 【Python】pyspider安装方法
- Ubuntu 16.04 安装pyspider
- pyspider安装问题
- win7 pyspider安装部署常见问题
- 关于循环中的作用域问题
- 安装Rhel7.2报错解决
- Tornado框架知识系列之三
- MySQL中多表连接查询(内连接、外连接)的使用
- Spark架构
- pyspider安装配置
- tomcat开机自启动
- 如何获取网络视频(或者说后台返回视频URL)第一帧图片以及获取本地视频的第一帧图片
- 设计模式之装饰着模式
- UE4添加C++类 编译失败 解决办法
- HDU 1087 Super Jumping! Jumping! Jumping!
- Linux下gcc编译生成动态链接库*.so文件并调用它
- opencv 形态学处理——膨胀
- 给Java新手的一些建议----Java知识点归纳(Java基础部分)