从scrapy框架搭建入门python包的安装

        python作为一门对新手非常友好的语言，在安装的难度上却完爆了绝大多数其他语言。为了让萌新不在python2，python3的版本之坑中艰难的挣扎，我决定总结一下一些比较方便的安装包的方法和遇到问题的解决思路。在此先列出几种较为通用的解决方案，然后从python安装开始，详细讲解完安装scrapy的步骤。在此之前，先来个开篇提示。英文用户名！英文路径名！英文用户名！英文路径名！英文用户名！英文路径名！重要的事情说三遍，电脑的用户名和存放各种软件的路径名一定要是英文！

一、安装思路

1.从官网进行对应whl文件的下载（下面通过python2.7安装scrapy将详细解释如何下载和安装whl文件）

        当pip install XXXX失败的时候，进入对应的https://pypi.python.org/pypi/XXXX网站，有的会直接给出表格file，然后选择对应的你安装的python版本进行安装即可;有的没有表格，这时候在页面中找到Download URL，然后点进去就是对应的下载链接。一般python2需要的包都可以在官网找到。

2.从http://www.lfd.uci.edu/~gohlke/pythonlibs/进行对应文件的下载

        官网有些包给出的版本非常有限，尤其是很多包还没有官方的python3版本如Twisted，这时候有两种解决方案，一种是直接在Github上下载源码然后剪切到site-package内，另外一种就是在这个网站内下载，通过http://www.lfd.uci.edu/~gohlke/pythonlibs/XXXX即可直接跳转对应链接。很多python3要求的包都只能在GitHub和这个网站里找到。

3.最省心但可能是另外一个坑的方案：.安装Anaconda全家桶，从此一键安装不用愁

        Anaconda也分为2和3的版本，根据你选择的python版本对应进行安装。但是Anaconda安装也会遇到很多坑，详情可以参考这个链接：https://zhuanlan.zhihu.com/p/25198543。如果实在是遇到Anaconda安装出现的问题太多难以为继，可以先从下面两种解决方案入手去解决问题，等对python更为熟悉之后再回过头来安装Anaconda。

二、python安装教程

1.安装python

        从python官网中下载python，选择2或者3的版本，地址为https://www.python.org/downloads/。msi文件可以直接执行，按部就班的安装好之后开始配置环境变量。

2.配置环境变量

        右键单击我的电脑（计算机/此电脑）-属性-高级系统设置-环境变量-点击（系统变量（S）中的）Path-编辑-新建-在出现的空格中输入你安装python的路径。如果你没有更改安装路径，python2的环境变量默认为C:\Python27，python3把27改为3对应的版本即可，如3.6就是36。配置完环境变量后在CMD中输入python，如果能成功显示python相关信息，就表示python安装且环境配置成功了。

        注：win10系统桌面没有‘我的电脑’解决方案：右键单击桌面-个性化-主题-桌面图标设置-勾选计算机，点确定即可。

3.pip安装教程

        pip官网下载地址为https://pypi.python.org/pypi/pip。下载完毕之后先解压，把解压之后的文件夹移到python所在的文件夹里，然后在CMD中使用python setup.py install命令进行安装。安装完毕后也需要配置环境变量，将pip所处的位置填入path变量。如果安装的时候没有修改环境路径，python2.7版本填入地址为C:\Python27\Scripts；如果修改了环境路径，可以在左下角键入pip,回车，右键点击弹出的最佳匹配，点'打开文件所在的位置'即可找到pip安装路径。（同理，如果安装完python或者pycharm之类的文件找不到图标在哪，都可以在左下角搜索框中找到）

         注：如果电脑上同时配置了python2和python3，对python3进行安装的时候要用命令：pip3 install XXXX。

4.IDLE

        IDLE是python自带的编辑器，建议新手先使用IDLE进行编程，较为熟悉之后再用pycharm等，因为交互式的IDLE能让人立即反应过来自己出错。从搜索框打开IDLE之后，右键单击屏幕最下方任务栏中的IDLE图标，选择固定到任务栏（建议把CMD也固定到任务栏,因为前期可能经常要用）

三、scrapy安装教程

1.wheel包安装

        pip install wheel即可安装wheel。如果想安装最新版本，可以进入链接https://pypi.python.org/pypi/wheel下载或者直接pip install wheel==0.30.0a0。

        注：pip install XXXX==x.x（X表示字母，x表示数字或字母）是安装对应指定版本的python包的方法，因为系统自动pip安装的包有些时候不符合版本要求，又或者一些版本最新的包并不能支持你所需要的功能，如Twisted17.1.0就无法支持scrapy，此时就需要指定版本进行安装。另外，这个方法也可以用于更新到最新版本。如果输入一个错误的X.X，CMD中将会返回所有正确的版本，此时可以随便选择喜欢的版本进行安装。

2.下载scrapy环境搭建需要的支持包（在此列出的都是python2最新版本或者需要的版本，请按顺序下载，python3的用户如果发现对应链接中没有你需要的版本，请在http://www.lfd.uci.edu/~gohlke/pythonlibs中统一下载）

        ①lxml:https://pypi.python.org/pypi/lxml/3.8.0

        ②setuptools:https://pypi.python.org/pypi/setuptools/36.0.1

        ③zope.interface:https://pypi.python.org/pypi/zope.interface/4.4.1

        ④Twisted:https://pypi.python.org/pypi/Twisted/13.1.0(python2.7要求版本为13.1.0.python3.6可以用16.6.0的版本）

        ⑤OpenSSL:https://pypi.python.org/pypi/pyOpenSSL/17.0.0

        ⑥pywin32:https://pypi.python.org/pypi/pywin32（这个需要跳转到其他链接下载）

3.安装支持包

        统一在CMD中用pip install XXXX（文件名）进行安装，如：pip install lmxl-3.8.0-cp27-cp27m-win32.whl。如果安装报错，那可能是pip版本问题。查询pip支持版本方法：在IDLE中输入：import pip，回车，pip.pep425tags.get_supported()。如果显示出的版本都是形如('cp27', 'none', 'win32')这样的，就把whl文件文件名改为 lmxl-3.8.0-cp27-none-win32.whl（也就是把cp27m改为none），python3的版本同理修改。修改文件名之后在CMD中运行pip install lmxl-3.8.0-cp27-none-win32.whl，就能成功安装whl文件。

4.安装及验证scrapy

        至此，python已经安装完毕，环境变量也已经配置好，pip和wheel包以及各种scrapy需要的支持包也全部安装完毕，想必你已经迫不及待的要pip install scrapy了。但是还不行，你还需要下载一个Microsoft Visual C++ 9.0（python2对应，也叫Microsoft Visual C++ 2008）或者Microsoft Visual C++ 14.0（python3对应，也叫Microsoft Visual C++ 2015），python2和python3分别有指定的版本要求。

        9.0下载地址：http://www.jb51.net/softs/73040.html

        14.0下载地址：http://www.jb51.net/softs/402927.html

        安装完毕之后，就可以pip install scrapy了！安装完毕之后在IDLE中import scrapy，如果成功，再在cmd中输入scrapy startproject 项目名，如scrapy startproject firsttest。如果也成功创建项目，就说明scrapy框架正式搭建完毕。恭喜！

四、后记

        请务努力了解GitHub，作为一门开源语言，当你熟悉python之后，你会发现从GitHub上面获取各种包才是最方便快捷的方式