unbuntu 14.04下安装Scrapy

来源：互联网发布：剑三最美萝莉脸型数据编辑：程序博客网时间：2024/05/30 04:29

在本地编写好爬虫，就想把程序上传阿里云服务器，可是安装scrapy，却出现好多问题，本文以作者遇到的问题，提供解决方案，成功安装好scrapy

scrapy也是托管到pip仓库，但是需要依赖lxml和twisted库，常常不能通过pip install安装成功。一般安装，可以先保证安装好依赖库，再pip安装scrapy。

安装twisted

twisted用的是python2.7的环境，如果python3.x需要自己选择python3.x相关的twisted。unbuntu14.4默认是python2.7.x，直接使用pip安装。

pip install twisted

安装lxml

lxml安装在国外ip的阿里云是可以安装好的，在国内有时会链接出错，有时还会跟不同阿里云环境不同而出错原因多种多样。为了保险，这里采用源码安装lxml。lxml有时依赖，zlib1g，可以先安装一下zlib1g

apt-get install zlib1g-dev wget  http://pypi.python.org/packages/source/l/lxml/lxml-3.4.2.tar.gz tar xzf lxml-3.4.2.tar.gz cd lxml-3.4.2/ python setup.py install

安装scrapy

为了顺利安装scrapy，可以先安装一下依赖的库。
1. 安装libffi

apt-get install libffi

2 安装cffi

pip install cffi

3 安装cryptography

apt-get install build-essential libssl-dev  libffi-dev python-devpip install cryptography --force-reinstall

安装完依赖库，再安装scrapy，基本没有问题。

pip install scrapy

安装进行测试

1 shell下输入scrapy，输出

Usage:  scrapy <command> [options] [args]Available commands:  bench         Run quick benchmark test  commands        fetch         Fetch a URL using the Scrapy downloader  genspider     Generate new spider using pre-defined templates  runspider     Run a self-contained spider (without creating a project)  settings      Get settings values  shell         Interactive scraping console  startproject  Create new project  version       Print Scrapy version  view          Open URL in browser, as seen by Scrapy  [ more ]      More commands available when run from project directoryUse "scrapy <command> -h" to see more info about a command

2 在python下测试

Python 2.7.6 (default, Oct 26 2016, 20:30:19) [GCC 4.8.4] on linux2Type "help", "copyright", "credits" or "license" for more information.>>> from scrapy import Spider, Request

没有错误，代表scrapy已经安装正确

0 0