【python】Scrapy安装

最近准备入scrapy的坑，因为还是相对比下py和R的爬虫机制，但是安装scrapy包简直让我费劲死了，在上stackflow查了好多因素后，终于成功安装了 ；

我的环境是pycharm，在setting里直接搜索是会出现问题，提示C++14.0 required

也就是需要安装C++，这时候去网站上下载visual studio2017，官网，下载的是一个小的安装程序。

https://www.visualstudio.com/zh-hans/downloads/

选择这个

然后下载后，点开exe：

会有这个东西，我已经安装过了，直接点“修改”,然后其实我们要安装的组件是：

这边安装包很大，需要等一段时间，安好了之后，有一部分人可以直接在pycharm上安装了，但是我的还不行，所以我又打开ms-dos用cd命令转移到环境变量：

Cd C:\\Users\\yangyunru\\AppData\\Local\\Programs\\Python\\Python36-32\\scipts

转到scripts环境下，用pip install安装，但是同理，还是无法安装，所以需要自己下载whl文件，从这个网站

http://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy

页面上搜索scrapy和twisted两个包，（scrapy依赖twisted）,然后下载到scripts文件夹中，不要改名，如下

Scrapy-1.4.0-py2.py3-none-any
Twisted-17.5.0-cp36-cp36m-win32

直接：

pip install Twisted-17.5.0-cp36-cp36m-win32pip install Scrapy-1.4.0-py2.py3-none-any

然后大功告成，在pycharm中可以import scrapy了；

总结下，先安装C++，然后下载scrapy和twisted的对应版本的whl文件，然后pip安装，最后成功导入。