使用scrapy-redis分布式爬虫 准备工作

环境： ubuntu 14.04

需要Scrapy >= 1.0.0, redis-py >= 2.10.0, redis server >= 2.8.0

1. 安装redis server

参考http://redis.io/download

$ wget http://download.redis.io/releases/redis-3.0.4.tar.gz$ tar xzf redis-3.0.4.tar.gz$ cd redis-3.0.4$ make

2.  安装Scrapy 

参考：http://doc.scrapy.org/en/1.0/topics/ubuntu.html#topics-ubuntu

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.listsudo apt-get update && sudo apt-get install scrapy

3. 安装redis客户端redis.py

参考：https://pypi.python.org/pypi/redis

sudo pip install redis

4. 安装scrapy-redis

需要Scrapy >= 1.0.0, redis-py >= 2.10.0, redis server >= 2.8.0

sudo pip install scrapy-redis