Scrapy--安装

简介

Scrapy是Python中一个有名的爬虫框架

我的环境：ubuntu16

安装

建议在virtualenv中安装Scrapy

在Ubuntu上安装Scrapy，首先需要安装如下依赖包：
sudo apt install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

如果想使用Python3，还需要执行下面的操作：
sudo apt install python3 python3-dev

安装virtualenv软件
pip install virtualenv

新建一个虚拟环境
virtualenv –python=python2.7 python27
virtualenv –python=python3.5 python35

想要一个干净的虚拟环境，可以添加–no-site-packages参数
virtualenv –python=python2.7 –no-site-packages python27

启动虚拟环境
进到虚拟出来的python35的bin目录，执行：source active启动虚拟环境，
root@ubuntu:/opt/xuexi# cd python27/bin
root@ubuntu:/opt/xuexi/python27/bin# source activate
(python27) root@ubuntu:/opt/xuexi/python27/bin#

执行deactivate可以退出虚拟环境

在虚拟环境中安装scrapy
pip install scrapy