Windows下用pip安装scrapy

Scrapy 是一个自由开源的Python爬虫框架，虽然其官方主页有安装指导，但是在Windows下实现起来却没有那么容易。自己一番折腾之后总算可以正常运行，这里总结一下。

1. Anaconda (IPython) Win 32bits (python version: 2.7)
2. lxml 2.3
3. twisted 12.0.0
4. zope.interface 4.1.0
5. pyOpenSSL 0.13

用Anaconda的原因是其自带了pip，如果是原始的python，在Windows下安装pip是非常麻烦的事情。2-5均有Windows的exe安装方式（必须都选择win32，否则会找不到Anaconda安装位置）。为了使用pip，还需要到Anaconda安装地址下的Lib文件夹下找到名为mimetypes.py的文件，在大约256行：

default_encoding = sys.getdefaultencoding()

这句话前面添加：

if sys.getdefaultencoding() != 'gbk':    reload(sys)    sys.setdefaultencoding('gbk')default_encoding = sys.getdefaultencoding()

即如果sys模块的编码方式不是gbk（Windows中文系统默认编码方式)，则设置成gbk。最后一行是原来的那句话。最后在cmd中输入：

pip install scrapy

安装scrapy。

Scrapy依赖库的安装

解决：ImportError: No module named w3lib.http

pip install w3lib

解决：ImportError: No module named twisted

pip install twisted

解决：ImportError: No module named lxml.html

pip install lxml

解决：ImportError: No module named cssselect

  pip install cssselect 

解决：ImportError: No module named OpenSSL

  pip install pyOpenSSL