centos系统下通过scrapyd部署python的scrapy
来源:互联网 发布:centos jdk1.8 安装 编辑:程序博客网 时间:2024/06/16 13:27
介绍
续接上篇:Python网络爬虫使用总结,本篇记录下我学习用scrapyd部署scrapy程序的过程。scrapyd的资料可以参见:scrapyd官网。
安装scrapyd
安装后会出现在python的bin目录下。
安装命令:pip install scrapyd
验证scrapyd安装
在命令行执行执行scrapyd命令即可启动scrapyd,执行完命令后如下图
安装上传工具(scrapyd-client)
Scrapyd-client是一个专门用来发布scrapy爬虫的工具,安装后会出现在python的bin目录下。
安装命令:pip install scrapyd-client
发布-(拷贝scrapyd-deploy到爬虫目录下)
发布-(修改爬虫的scapy.cfg文件)
1、去掉url前的注释符号,这里url就是你的scrapyd服务器的网址;
2、deploy:127表示把爬虫发布到名为127的爬虫服务器上,deploy:后的名字可以自己定义;
3、default=i2Stocks .settings 建议用工程名字。
验证配置:执行如下命令python3 scrapyd-deploy -l
预期结果如下:
发布-(上传scrapy到scrapyd)
上传命令:python3 '/soft/test/i2Stocks/scrapyd-deploy' 127 -p i2Stocks
7、使用linux自带的调度工具执行刚刚发布的爬虫
确认当前的linux系统有这个工具curl
curl的介绍请参见:百度百科curl介绍。
发布job命令:curl http://localhost:6800/schedule.json -d project=i2Stocks -d spider=stocks
我遇到的问题是spider与工程名称不一致,查看spider的名称,可以通过如下截图获取:
查看job执行情况及运行日志方法如下:
阅读全文
1 0
- centos系统下通过scrapyd部署python的scrapy
- python scrapy部署scrapyd
- 用python3写的scrapy代码,如何部署到scrapyd
- ubantu下部署scrapyd
- 如何部署Scrapy 到Scrapyd上?
- 基于Scrapyd的爬虫部署
- scrapy和scrapyd-client的使用教程
- scrapyd:基于scrapy的爬虫发布管理工具
- Scrapy——scrapyd的使用
- scrapyd部署
- CentOS 7下Python 3的部署
- ubuntu下scrapyd部署爬虫项目
- [Python Scrapy] Windows 下 Scrapy 框架(通过pip安装)
- scrapyd部署爬虫遇到的问题
- scrapy的使用,修正《Python下用Scrapy和MongoDB构建爬虫系统》
- windows 7 使用 scrapyd 监控 scrapy的 spider
- 利用scrapyd管理scrapy的多个爬虫
- Centos下装Python+Scrapy
- [PAT-乙级]1038.统计同成绩学生
- [NFC]SNEP协议介绍
- JavaScript-基于对象的语言
- C++ primer plus 阅读记录-类继承
- shader 着色器
- centos系统下通过scrapyd部署python的scrapy
- vscode配置Python、markdown和模板字体
- [NFC]NDEF和RTD协议介绍
- 电脑病毒之随便聊聊--永恒之蓝
- Python 读书笔记 (2)
- 征服C指针之没想到你是这样的指针
- [NFC]NFC启动流程1
- 01背包 Educational Codeforces Round 21 E. Selling Souvenirs
- CentOS7基于Hadoop 2.7.3安装Hive 2.1.1