linux分布式scrapy爬虫之安装scrapy-redis

安装完redis后，进入到redis目录下


输入redis-cli 会有提示安装 sudo apt-get install redis-tools


再输入：redis-server /etc/redis.conf 会有提示安装：sudo apt-get install redis-server




测试：
输入：hadoop@slave1:~/.local/lib/python2.7/site-packages/redis$ redis-cli
127.0.0.1:6379> 


修改配置文件：：
hadoop@slave1:/etc/redis$ sudo vi redis.conf


#bind 127.0.0.1  改为 bind 0.0.0.0




远程访问：需要将 /etc/redis/redis.conf 的bind 127.0.0.1 改为 bind 0.0.0.0 


然后输入： ps -ef | grep redis 查看进程：


redis      1193      1  0 12:41 ?        00:00:00 /usr/bin/redis-server 0.0.0.0:6379   //这个地方是0.0.0.0:6379或者是 *：6379，表示其他ip可以访问
hadoop     1715   1700  0 12:46 pts/0    00:00:00 grep --color=auto redis


测试：hadoop@slave1:/etc/redis$ redis-cli -h 192.168.71.128 -p 6379
192.168.71.128:6379> 




报错：No matching distribution found for PIL 名字换了使用sudo pip install pillow


报错：No matching distribution found for mysqldb  安装MySQLdb模块，应该用MySQL-python，所以sudo pip install mysql-python
报错：mysql-python安装时EnvironmentError: mysql_config not found   只要原因是没有安装:libmysqlclient-dev 所以：sudo apt-get install libmysqlclient-dev




注意：如果要重新运行爬虫记得把master上的redis清空，因为master里的数据库“dmoz:dupefilter”是用来过滤重复的请求


192.168.71.128:6379> flushdb




使用命令：sudo vim /etc/redis/redis.conf 进行修改：
1、将保护模式设置为no：
如果不设置此处的话，windows下访问redis直接崩溃。
2、bind ip注释掉：
如果不注释掉，只有本地可以访问redis，windows是不能访问的。
接下来重启我们的redis服务，使用命令sudo service redis restart


启动分布式爬虫：




使用很简单 pip install scrapy-redis 安装
然后修改常规spider文件
1.引入RedisCrawlSpider和RedisSpider一样
from weibo.scrapy_redis.spiders import RedisSpider  ##这个scrapy_redis文件夹在weibo项目文件下，所以引入使用weibo.scrapy_redis.spiders
2.将spider类继承改为RedisSpider


class Weibo(RedisSpider):
3.将
start_urls = (
    'https://www.weibo.com',
)
替换为
redis_key = 'weibospider:start_urls'
4.然后在setting里面设置redis数据库的地址等
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
REDIS_URL = 'redis://192.168.71.129:6379'
REDIS_HOST = '127.0.0.1'
REDIS_PORT = 6379
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
5.然后启动爬虫，发现如下：
2017-10-20 17:09:03 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-10-20 17:09:03 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2017-10-20 17:10:03 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-10-20 17:11:03 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)


说明正在等待请求的urls，爬虫属于饥渴状态！！
此时已经在使用redis管理url队列，但是redis里面还没有start_urls
使用命令在master端输入：redis-cli


127.0.0.1:6379> lpush weibospider:start_urls https://weibo.cn/2810373291/fans
(integer) 1
127.0.0.1:6379> 
将start_urls push进redis


回头去看爬虫程序，如下：


2017-10-20 17:11:01 [weibospider] DEBUG: Read 1 requests from 'weibospider:start_urls'
2017-10-20 17:11:03 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://weibo.cn/2810373291/fans> (referer: None)


说明了从redis中取出了刚刚放进入的start_urls，然后爬虫就会开始爬取了哦


中途任意时间可以运行上面的命令将start_urls push进redis 进行爬取