scrapy-redis(七):部署scrapy
来源:互联网 发布:怎么找淘宝达人合作 编辑:程序博客网 时间:2024/06/05 12:17
一般我们写好scrapy爬虫,如果需要启动的话,需要进入scrapy项目的根目录,然后运行以下命令:
scrapy crawl {spidername}
这样我们就可以在终端查看到爬虫信息了。但爬虫运行状态还需要给上级领导看,或者自己有空的时候就看看,总不可能想看的时候就登录服务器。
下面就给大家介绍scrapy官方推荐的部署爬虫项目的方法。
需要安装scrapyd和scrapyd-client
对于scrapyd的安装,极力建议大家不要使用pip安装,而是直接从github去下载,然后使用setup安装。而对于scrapyd-client的安装,可以直接使用pip下载安装。
配置scrapyd
下载完scrapyd之后,就需要进行配置。我这里使用的ubuntu 14.04。按照scrapyd文档介绍,我们需要建立一个文件,绝对路径为/etc/scrapyd/scrapyd.conf。然后在文件内加入以下内容:
[scrapyd]eggs_dir = eggslogs_dir = logsitems_dir =jobs_to_keep = 5dbs_dir = dbsmax_proc = 0max_proc_per_cpu = 4finished_to_keep = 100poll_interval = 5.0bind_address = 0.0.0.0http_port = 6800debug = offrunner = scrapyd.runnerapplication = scrapyd.app.applicationlauncher = scrapyd.launcher.Launcherwebroot = scrapyd.website.Root[services]schedule.json = scrapyd.webservice.Schedulecancel.json = scrapyd.webservice.Canceladdversion.json = scrapyd.webservice.AddVersionlistprojects.json = scrapyd.webservice.ListProjectslistversions.json = scrapyd.webservice.ListVersionslistspiders.json = scrapyd.webservice.ListSpidersdelproject.json = scrapyd.webservice.DeleteProjectdelversion.json = scrapyd.webservice.DeleteVersionlistjobs.json = scrapyd.webservice.ListJobsdaemonstatus.json = scrapyd.webservice.DaemonStatus
上面这个是scrapyd上的默认配置文件,可以进行自定义的改动。具体请参考官方文档。我前面说过不要使用pip安装scrapyd,因为pypi上的scrapyd版本较低,在webservice这个模块中是没有DaemonStatus这个类的,所以就会报错。
弄完配置文件,就可以直接在终端输入sudo scrapyd。这样就启动了这个服务。记住这是个服务器,我们需要用scrapyd-client将爬虫部署到scrapyd中。你会在终端看到下面的界面:
scrapyd-client
这一步非常的简单,安装完scrapyd-client之后,直接进入爬虫所在的根目录,打开scrapy.cfg文件。添加以下内容:
[deploy]url = http://127.0.0.1:6800/ project = myspiderusername = {name}password = {passwd}
然后在终端运行
scrapyd-deploy <target> -p <project>
部署成功会看到上面的输出
然后就会在根目录生成一堆文件。
启动scrapy
curl http://127.0.0.1:6800/schedule.json -d project=myspider -d spider=myspider
根据scrapyd的api,利用上面的命令即可启动一个爬虫。
取消一个爬虫:
curl http://127.0.0.1:6800/cancel.json -d project=myspider -d job=566dba0ccc0711e6b95c000c294834b5更多的api接口请参考scrapyd官方文档。
浏览器中观察爬虫日志
假设我们scrapyd服务运行的ip和port为192.168.1.1:6800。那么我们就可以打开浏览器,查看爬虫的抓取log.
在浏览器中输入192.168.1.1:6800即可看到上面的页面。点击jobs,即可查看当前运行的爬虫,点击log,就可以查看当前爬虫以及过去爬虫的所有log。
上面是爬虫的job,显示已经完成了三个,有一个正在运行
上面是log,点击进去有详细的信息
这是一个正在运行的爬虫的log
总结
至此,我们就全部部署好了一个爬虫。比如我们平常使用的是windows,只要我们在windows上安装了curl,那么我们就可以以命令行的方式启动停止部署在linux上的爬虫,只要确保scrapyd这个服务在运行即可。
举一个例子:
假设我们在测试环境,利用scrapy开发了5个爬虫,分别对应5个不同的网站,比如,A网站,B网站,C网站,D网站,E网站。然后我们有5台服务器,分别是a,b,c,d,e,我们需要把这5个爬虫分别部署到5台服务器上,当然,前提是需要在5台服务器上安装了scrapyd。
那么,我们就可以利用scrapyd-client进行快速的部署。只要在这个5个不同的爬虫根目录的scrapy.cfg文件中加入下面这一段就可以了:
[deploy:local]url = http://127.0.0.1:6800/ project = myspiderusername = {name}password = {passwd}[deploy:a]url = #服务器a中scrapyd监听的ip和端口 project = myspiderusername = {name}password = {passwd}[deploy:b]url = #服务器b中scrapyd监听的ip和端口 project = myspiderusername = {name}password = {passwd}[deploy:c]url = #服务器c中scrapyd监听的ip和端口 project = myspiderusername = {name}password = {passwd}[deploy:d]url = #服务器d中scrapyd监听的ip和端口 project = myspiderusername = {name}password = {passwd}[deploy:e]url = #服务器e中scrapyd监听的ip和端口 project = myspiderusername = {name}password = {passwd}
然后我们在scrapy项目的根目录,执行scrapyd-deploy就可以把爬虫部署到不同的服务器中了。有多少个单独的爬虫,就执行多少次。
运行爬虫的话,我们只要利用curl命令就可以,假设我们想要启动a,b,c,d,e这5台服务器中的A网站的爬虫:
curl http://a服务器scrapyd的ip:port/schedule.json -d project=A -d spider=myspidercurl http://b服务器scrapyd的ip:port/schedule.json -d project=A -d spider=myspidercurl http://c服务器scrapyd的ip:port/schedule.json -d project=A -d spider=myspidercurl http://d服务器scrapyd的ip:port/schedule.json -d project=A -d spider=myspidercurl http://e服务器scrapyd的ip:port/schedule.json -d project=A -d spider=myspider
上面的命令执行5次就可以了。
当然,我们可以写一个python脚本,利用subprocess,可以节省重复性的工作。
- scrapy-redis(七):部署scrapy
- scrapy-redis 和 scrapy ?
- scrapy-redis
- scrapy
- Scrapy
- scrapy
- Scrapy
- Scrapy
- Scrapy
- Scrapy
- Scrapy
- scrapy
- Scrapy
- scrapy
- Scrapy
- Scrapy
- Scrapy
- scrapy
- Centos7安装JDK环境
- jeecg页面格式化输出时间
- 记录一下安卓6.0权限的问题
- Matlab与线性代数 -- 矩阵的条件数
- 远古网络电视台系统
- scrapy-redis(七):部署scrapy
- Java基础加强总结——代理(Proxy)
- Mybatis mapper配置文件传入数组参数,同时操作一组数据
- [Java并发包学习三]ThreadFactory介绍
- 稀疏索引
- ExploitExercises_Nebula_Level07
- Mybatis学习之路
- [Java并发包学习四]Future和FutureTask
- miniUI表结构设计遇到的问题和解决