scrapy下载图片

github:https://github.com/chen19901225/picscra.git

关键代码：

class MyImagesPipeline(ImagesPipeline):    def get_media_requests(self, item, info):        yield Request(url=item['image_url'], headers=utils.get_updated_headers(Referer=item['source_url']))    def item_completed(self, results, item, info):        image_paths = [x['path'] for ok, x in results if ok]        if not image_paths:            raise DropItem('Item contains no images')        item['image_path'] = image_paths        return item

但是我有一个疑问：

如果 有多个层次的 Request，怎么知道是在请示列表的时候，使用pipeline呢？

还是在获取详细信息的时候，使用pipeline呢？