Scrapy 安装问题详解

今天整理的是Scrapy在python3.6安装中遇到的问题.以及scrapy的安装教程.

安装Scrapy1.4最新版本

如果你直接使用pycharm安装会遇到报错error:

Try to run this command from the system terminal. Make sure that you use the correct version of ‘pip’ installed for your Python interpreter located at ‘C:\Users\victor\scrapy\Scripts\python.exe’.

其实使用pychram 安装的时候我们经常会遇到pip的问题,面对这个问题我们可以选择在命令行中安装.

在这里我用virtualenv创造了一个干净的环境.

我们使用 pip install scrapy 安装最新的scrapy 在命令行中运行.

pip install scrapy

在这里scrapy会自动将一些常用的配置包给我们安装上,但是twisted这个包安装的时候会报错.

building ‘twisted.test.raiser’ extension
error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”

面对这个问题,其实我们无法通过用pip install 的直接安装twisted.我们采用安装whl的方式来下对应的twisted.

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

在上面的链接中我们找到对应的python版本,我的版本是win32,所以需要:

Twisted‑17.5.0‑cp36‑cp36m‑win32.whl 这个版本如果是64bit的话 需要:Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl  这个版本

在安装Twisted之前我们需要安装wheel,这样我们才能安装whl.

pip install wheel

博主这里wheel已经安装好了,如果缺少的需要安装.

我们把刚才下载对应的twisted版本,通过whl方式来安装.

pip install C:\Users\victor\Downloads\Twisted-17.5.0-cp36-cp36m-win32.whl

至此我们的twisted安装完成.

接下来我们继续安装scrapy

pip install scrapy

scrapy 跟它的相关包到这已经安装完成,我们现在只缺少pywin32的包.同样这个包不能直接通过pip install pywin32 来完成,我们需要到官网上下载它的whl文件.

https://pypi.python.org/pypi/pypiwin32/220

下载对应的版本后,跟twisted的安装方法一样,将pywin32安装完成.

至此在python3.6下的Scrapy1.4.0版本就搭建成功了.

希望能够帮助你在python之路上走的更加轻松一些.

---

                                                                                     by  Victor_chi