windows下Python、pip、pyspider的安装,构建爬虫环境(二)

来源:互联网 发布:女装淘宝店铺起名字 编辑:程序博客网 时间:2024/06/02 02:00

1、安装PhantomJS、Selenium

下载地址:http://phantomjs.org/download.html

PhantomJS是一个服务器端的 JavaScript API 的WebKit(开源的浏览器引擎)。其支持各种Web标准: DOM 处理, CSS 选择器, JSON, Canvas 和 SVG。PhantomJS可以用于页面自动化,网络监测,网页截屏,以及无界面测试等。



Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7、8、9)、Mozilla Firefox、Mozilla Suite等。这个工具的主要功能包括:测试与浏览器的兼容性、测试系统功能,它ThoughtWorks专门为Web应用程序编写的一个验收测试工具。


2、安装pyspider

cmd命令  pip install pyspider



3、启动pyspider

cmd命令执行pyspider all


我们在浏览器打开http://localhost:5000,就可以看到一个界面,点击Create创建项目


至此,Python,pyspider环境就算搭建完成。就可以写Python脚本进行数据爬取了。


阅读全文
0 0
原创粉丝点击