Win7 64位scrapy安装

来源:互联网 发布:北京好的设计公司知乎 编辑:程序博客网 时间:2024/05/01 01:40

win7 64位系统依赖的scrapy文件链接:http://pan.baidu.com/s/1mgJS7BM

第一步:当然是安装python了,本人安装的是2.7.3版本;可以到python的官网下载然后双击运行,一路“下一步”即可完成安装。安装好后,将python的安装目录添加到系统变量中,这样才能够在控制台中输入python进入,如下图所示则说明安装python成功了

第二步:按照官网的提示,我们先安装pywin32,在http://sourceforge.net/projects/pywin32/files/这里点击进去后选择对应的版本(注意要与安装的python版本对应),下载后也是双击运行,直接下一步一路完成。

第三步:安装twisted,在其官网的下载页面中http://twistedmatrix.com/trac/wiki/Downloads可以看到其还依赖几个包

    1. 安装zope.interface, 从这里https://pypi.python.org/pypi/zope.interface#download下载

我选择了4.0.5版本,点击进去后,点击download按钮即可,下载完后也是双击运行,一路下一步即可完成。

打开cmd,进入python,按照下图显示输出的话表示正确安装了

    2. 安装pyopenssl, 从这里https://pypi.python.org/pypi/pyOpenSSL下载,注意要选择对应python的版本。

我选择了倒数第二个,安装成功后通过下面的方式验证:

    3. 安装twisted,在下载页面http://twistedmatrix.com/trac/wiki/Downloads中我们可以看到

    选择对应python的版本下载安装。

第三步:安装lxml,在这里https://pypi.python.org/pypi/lxml/下载,本人选择了3.2.3版本

最后一步:安装scrapy

在安装前,请先将easytool安装好

在这里http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe下载,安装好后,需要将python安装目录下的Scripts目录路径添加到系统变量中,因为下面就要用到。 

  • 方法1: 控制台输入:easy_install scrapy

  • 方法2:在这里https://pypi.python.org/pypi/Scrapy下载解压缩Scrapy-0.22.2.tar.gz,在其目录下执行$ python setup.py install进行Scrapy的安装。

检查Scrapy是否安装成功的方法:可以在cmd控制台执行 $ scrapy ,如果没有报错,说明安装成功


Scrapy依赖项的安装

Scrapy的依赖项可以在这里进行下载:http://pan.baidu.com/s/13oRlq

  • 安装lxml-3.2.4.win32-py2.7.exe(64位系统需要安装lxml-3.2.4.win-amd64-py2.7.exe)

  • 安装pywin32-218.win32-py2.7.exe(64位系统需要安装pywin32-218.win-amd64-py2.7.exe)

  • 安装Twisted-13.2.0.win32-py2.7.exe(64位系统需要安装Twisted-13.2.0.win-amd64-py2.7.exe)

  • 安装pyOpenSSL-0.13.1.win32-py2.7.exe(64位系统需要安装pyOpenSSL-0.13.1.win-amd64-py2.7.exe)

  • 将zope.interface-4.0.5-py2.7-win32.egg拷贝到C:\Python27\Scripts目录下,执行$ easy_install.exe zope.interface-4.0.5-py2.7-win32.egg

验证scrapy依赖项是否安装成功的方法:

cmd执行$ python进入python控制台

  • 执行import lxml,如果没报错,则说明lxml安装成功

  • 执行import twisted,如果没报错,则说明twisted安装成功

  • 执行import OpenSSL,如果没报错,则说明OpenSSL安装成功

  • 执行import zope.interface,如果没报错,则说明zope.interface安装成功

  • 如果安装成功,那么在cmd中执行& python,然后执行import lxml,如果没有报错,则说明lxml安装成功



,运行cmd,cd到该解压目录下,在cmd中输入

easy_install Scrapy

完成scrapy的安装,然后在cmd中输入scrapy进行验证,如果出现下图所示,则说明安装成功了

到此,整个环境搭建成功!

遇到问题解决:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xb0 in position 1: ordinal not in range(128)

解决方法:打开C:\Python27\Lib下的 mimetypes.py 文件,找到大概256行(你可以用Notepad++的搜索功能)的

‘default_encoding = sys.getdefaultencoding()’。

在这行前面添加三行:

[python] view plaincopy在CODE上查看代码片派生到我的代码片
  1. if sys.getdefaultencoding() != 'gbk':  
  2.     reload(sys)  
  3.     sys.setdefaultencoding('gbk')  
  4. default_encoding = sys.getdefaultencoding()  

运行一个例子程序出现错误2:

ImportError: Error loading object 'scrapy.core.scheduler.Scheduler': No module n amed queuelib

下载queuelib安装好即可:https://pypi.python.org/pypi/queuelib/1.0

0 0