scrapy的安装

来源:互联网 发布:js上拉加载更多 编辑:程序博客网 时间:2024/05/17 01:49

系统:win10 ,64位

python版本:3.5.3 ,64位

pip版本:9.01 for python 3.5.3


1、首先确定已经安装好了python以及pip

2、安装scrapy的依赖项,

1)lxml(http://lxml.de/),lxml是python语言处理xml和html中功能最丰富且最简单好用的库

2)twisted(http://twistedmatrix.com/trac/),twisted是一个事件驱动的网络引擎

下载页面为:http://www.lfd.uci.edu/~gohlke/pythonlibs/。

下载之后在运行cmd,切换到下载的目录(用cd命令, 如果需要切换盘符(比如从c盘切换到d盘,则需要先通过命令D:切换到d盘之后再用cd命令)

运行命令:pip install lxml-3.8.0-cp35-cp35m-win_amd64.whl

:pip install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

*期间pip会自动下载lxml的依赖项(比如:pyOpenSSL、six等,所以要保持联网)

3、用pip安装scrapy

3)运行cmd,输入命令:pip install scrapy

在此,scrapy就安装成功了。可以在cmd中输入scrapy查看。


附:虽然scrapy安装完成,但是在后面的爬取过程中,会报错:no module named win32api ,这是缺少pywin32模块。在https://sourceforge.net/projects/pywin32/files/中根据下面的说明下载本机系统及python对应的版本,我的是:pywin32-221.win-amd64-py3.5.exe。这个是exe文件,直接运行

如有错误及不准确之处,欢迎指正!


原创粉丝点击