Linux下scrapy安装问题汇总

首先，在安装scrapy之前，需要用apt-get以及pip安装以下依赖包：

apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev

在Linux系统下python3.4版本下成功安装scrapy：

pip install scrapy

后，输入scrapy命令会出现以下问题：

1.  ImportError: No module named 'pyparsing'

解决方法：安装pyparsing包、appdirs包

pip install pyparsingpip install appdirs

2.  ImportError: No module named '_cffi_backend'

解决方案：安装cffi包（如果安装不能成功，则加上第一条语句）

pip install --upgrade --force-reinstall pip virtualenv（可选）pip install cffi

3. Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-8il1715y/cryptography/

解决方案：upgrade之后安装cryptography

pip install --upgrade setuptoolspip install ez_setuppip install unroll（可选）pip install cryptography

4. No module named 'zope'

解决方案：安装twisted包

pip install twisted

5. ImportError: No module named 'pydispatch'

解决方案：安装pydispatcher包

pip install pydispatcher

6. ImportError: No module named 'OpenSSL'

解决方案：安装pyOpenSSL包

pip install pyOpenSSL

7. 如果在安装cryptography的过程中把pyparsing和appdirs安坏了，会导致pip不可用。即输入pip后，会显示：ImportError: No module named 'pyparsing'或者ImportError: No module named 'appdirs'

预防方案：在安装cryptography前一定要执行以下命令，否则会出以上错误

pip install pyparsingpip install appdirs

解决方案：从pypi.python.org上下载包文件，解压后使用python setup.py install命令进行手动版本安装，具体命令如下：

安装pyparsing：

wget https://pypi.python.org/packages/3c/ec/a94f8cf7274ea60b5413df054f82a8980523efd712ec55a59e7c3357cf7c/pyparsing-2.2.0.tar.gzgunzip pyparsing-2.2.0.tar.gztar -xvf pyparsing-2.2.0.tarcd pyparsing-2.2.0/python setup.py install

安装appdirs：

wget https://pypi.python.org/packages/48/69/d87c60746b393309ca30761f8e2b49473d43450b150cb08f3c6df5c11be5/appdirs-1.4.3.tar.gzgunzip appdirs-1.4.3.tar.gztar -xvf appdirs-1.4.3.tarcd appdirs-1.4.3python setup.py install

如果遇到six版本不匹配的情况，则安装six如下：

wget https://pypi.python.org/packages/b3/b2/238e2590826bfdd113244a40d9d3eb26918bd798fc187e2360a8367068db/six-1.10.0.tar.gz#md5=34eed507548117b2ab523ab14b2f8b55gunzip six-1.10.0.tar.gztar -xvf six-1.10.0.tarcd six-1.10.0/python setup.py install

总的来说，应该在使用scrapy之前首先使用pip安装以下依赖包：

pip install pyOpenSSL cryptography cffi pycparser