Scrapy——scrapyd的使用

安装scrapyd
安装scrapyd-client
安装curl

安装scrapyd-client后，scrapyd-deploy再windows下无法执行，需要
在虚拟环境的Scripts中新建scrapyd-deploy.bat,写入以下代码
例子，我的虚拟环境是venv3

@echo offF:\sscrapy\venv3\Scripts\python F:\sscrapy\venv3\Scripts\scrapyd-deploy %*

启动scrapyd服务器，浏览器6800端口可以访问

scrapyd

修改scrapy.cfg

# Automatically created by: scrapy startproject## For more information about the [deploy] section see:# https://scrapyd.readthedocs.org/en/latest/deploy.html[settings]default = csdn.settings#冒号后面是deploy的target，指定不同名字，可以发布到不同服务器[deploy:demo] url = http://localhost:6800/project = csdn [deploy:141] url = http://127.0.0.141:6800/project = csdn 

cd到project的根目录，进行打包上传到scrapyd

scrapyd-deploy <target> -p <project> --version <version>target就是前面配置文件里deploy后面的的target名字。project 可以随意定义，跟爬虫的工程名字无关。不设定则使用scrapy.cfg中的version自定义版本号，不写的话默认为当前时间戳。

启动爬虫

curl http://localhost:6800/schedule.json -d project=csdn -d spider=csdn