windows环境下在python2.7下安装Scrapy

     大数据越来越火，可是海量的数据很难轻易拿到，于是爬虫来了，早先人们用Java，c++语言进行数据的获取，可是后来Python的诞生与发展，由于其代码简洁易懂，并且有大量完美的库函数，使其在最近几年很火。

    获取网站的数据的代码很多，并且也有很多框架，今天来说一说scrapy框架，它是人们获取海量数据一个很好的框架。scrapy = search + python；下面就来说一说scrapy框架的安装。

     安装scrapy需要用到很多的库，看了很多参看现总结如下：

    前提：电脑要安装好python2.7版本（一般建议为安装32位2.7版本，因为其兼容性比较好），前面博客有参考教你怎么安装。

    1：安装lxml（ lxml是一种使用 Python 编写的库，可以迅速、灵活地处理 XML）：

[python] view plain copy

1. python2 -m pip install lxml  

   2：安装setuptools（setuptools是Python distutils增强版的集合,它可以帮助我们更简单的创建和分发Python包,尤其是拥有依赖关系的。）:

[python] view plain copy

1. python2 -m pip install setuptools  

    3：安装zope.interface（Python支持多继承，但是不支持接口，zope.inteface是其三方的接口实现库，在twisted中有大量使用）:

[python] view plain copy

1. python2 -m pip install zope.interface  

    4：安装Twisted（它是用Python实现的基于事件驱动的网络引擎框架）：

[python] view plain copy

1. python2 -m pip install Twisted  

    5：安装pyOpenSSL（pyOpenSSL是Python的OpenSSL接口）:

[python] view plain copy

1. python2 -m pip install pyOpenSSL  

    6：安装win32py（提供win32api）：双击打开即可；然后一路下一步。但是其安装目录必须要在Python的目录下。这个链接的安装亲测，不会有错。

    7：安装scrapy（爬取数据的一个很好的框架）

[python] view plain copy

1. python2 -m pip install scrapy  

     8：测试是否成功

         遇到的bug及解决方法：

1：安装包时遇到python error:Microsoft Visual c++ is required;错误信息如下：

[python] view plain copy

1. error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it from http://aka.ms/vcpython27  

出现错误的原因：

     由于Python默认调用VS2008编译器编译相关C代码，因此出现这种错误的原因可能有如下几个方面：

     1).没有安装VS2008.

     2).安装了32位VS2008，使用64位python.

     3).安装了64位VS2008，使用32位python.

     4).由于安装了VS2008或者安装了Microsoft Visual C++ Compiler for Python 2.7（https://www.microsoft.com/en-us/download/details.aspx?id=44266）后仍会碰到其他问题，例如找不到“stdbool.h”头文件等，因此建议为Python指定更高版本的VS编辑器。

解决方案：

      1)：如果你的电脑安装有现成的VS那是最好不过了，小编我安装的是VS2013；建议打开python安装目录：“C:\Python27\Lib\distutils\msvc9compiler.py”把这个文件打开找到find_vcvarsall函数，在函数开始处添加 version = 12.0（即符合等式：version=vs的版本号）；保存即可。然后再继续pip你的安装。   

      2)：电脑没有安装VS，还可以在环境变量中添加项 VS90COMNTOOLS，值为“VS安装路径\Common7\Tools”，例如C:\Program Files\Microsoft Visual Studio 12.0\Common7\Tools，也可在控制输入： SET VS90COMNTOOLS=%VS120COMNTOOLS%即可。

2：查看你安装过的所有的包：

[python] view plain copy

1. python2 -m pip list