windows 7 下如何搭建爬虫框架scrapy

一直以来都对Python有兴趣，最近看了好多人利用Python来爬虫，也想学学，于是在windows7 下安装爬虫框架scrapy！

本文主要讲解在windows上搭建scrapy的步骤，有兴趣学习的话，可以先登录官网http://scrapy.org/基本浏览一下，然后可以按照一面的步骤来完成环境的搭建。

​第一步：当然是安装python了，本人安装的是2.7.10版本（个人建议2.7版本）；移步官网https://www.python.org/下载然后双击运行，一路“下一步”即可完成安装。安装好后，需要将python的安装目录添加到系统变量中，这样才能够在控制台中输入python进入，如下图所示则说明安装python成功！

第二步：按照官网的提示，我们先安装pywin32，在http://sourceforge.net/projects/pywin32/files/这里点击进去后选择对应的版本（注意要与安装的python版本对应），下载后也是双击运行，直接下一步一路完成。

第三步：安装twisted，在其官网的下载页面http://twistedmatrix.com/trac/wiki/Downloads可以看到其还依赖几个包

​1. 安装zope.interface， 从这里https://pypi.python.org/pypi/zope.interface#download下载.我选择了4.1.3版本，点击进去后，点击download按钮即可，下载完后也是双击运行，一路下一步即可完成。这一步也可以用pip install zope.interface直接进行安装！

​2. 安装pyopenssl， 从这里https://pypi.python.org/pypi/pyOpenSSL

下载，注意要选择对应python的版本。

3. 安装twisted，在下载页面http://twistedmatrix.com/trac/wiki/Downloads

中我们可以看到，也可以用pip安装，但是我没有成功！

第三步：安装lxml，在这里https://pypi.python.org/pypi/lxml/下载。

通过pip list进行验证

最后一步：安装scrapy​,下载scrapy，在这里https://pypi.python.org/pypi/Scrapy下载安装 pip install scrapy。在这里出现了一个C++的问题，解决方式在这里：http://www.microsoft.com/en-us/download/confirmation.aspx?id=44266

最后简单说几句，python相关包的安装有三种方式：

1、去相关网站下载，安装，如上；

2、cmd中用​easy_install，不建议，只能装不能卸；

3、pip install  这个还是比较强大的，其实安装scrapy可以直接pip install scrapy ，顺利的话可以一路畅通，不顺也是按提示下载安装相关包即可。​

推荐1或者3！