运行scrpay crawl时传递参数

来源:互联网 发布:淘宝卖家人工客服 编辑:程序博客网 时间:2024/05/29 13:12
第一种:
命令:scrapy crawl myspider -a parms=arg1


class MySpider(scrapy.Spider):     def __init__(self, parms=None, *args, **kwargs):        super(MySpider, self).__init__(*args, **kwargs)        
第二种:

在用scrapyd控制spider的时候,可以向schedule.json发送-d选项加入参数,同样的,也需要在spider的构造函数里如上写法

$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d setting=parms=2 -d arg1=val1


0 0
原创粉丝点击