Scrapyd 使用
来源:互联网 发布:反美颜软件有可能 编辑:程序博客网 时间:2024/06/16 01:26
Scrapyd 安装
在 Linux 服务器终端运行如下命令
pip3 install scrapyd
服务器的爬虫各种命令
列出所有爬虫项目
curl http://localhost:6800/listprojects.json
列出项目版本
curl http://localhost:6800/listversions.json?project=myproject
启动爬虫
curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider
查看爬虫
curl http://localhost:6800/listjobs.json?project=myproject
取消爬虫
curl http://localhost:6800/cancel.json -d project=myproject -d job=6487ec79947edab326d6db28a2d86511e8247444
如果 scrapyd 服务器开启了远程访问,则需要将添加–user才能访问
curl --user name:password example.com
阅读全文
0 0
- Scrapyd 使用
- 使用Scrapyd部署爬虫
- scrapy和scrapyd-client的使用教程
- Scrapyd的安装及使用(windows)
- Scrapy——scrapyd的使用
- scrapyd的安装和基本使用
- windows 7 使用 scrapyd 监控 scrapy的 spider
- 远程管理爬虫服务器——scrapyd 使用小记
- scapyd scrapyd-client scrapy使用http调度spider.md
- scrapyd部署
- 【scrapyd】windows下安装运行scrapyd
- scrapyd日志太多了,重启scrapyd
- ubantu下部署scrapyd
- scrapyd的安装
- Scrapyd 学习记录
- scrapyd部署总结
- scrapyd-deploy 失败
- scrapyd项目部署
- 微信小程序登录
- AndroidStudio集成Git-2击集成Coding/Github
- Xlistview
- sql常用语句
- Character.UnicodeBlock中cjk的说明
- Scrapyd 使用
- 深入理解 Java 垃圾回收机制
- [BZOJ4503]两个串(快速傅立叶变换FFT)
- Python SMTP服务发送邮件
- Webpack3的使用(五)
- mysql数据库授权操作
- 篇外篇【今天参加了一个区块链项目的私募,说说内心的感觉】
- bing搜索
- 简单了解阿里云批量计算(上篇)