scrapy 爬虫过滤相同的url，Filtered duplicate request，dont_filter

            yield Request('https://www.zhihu.com',                          meta={'cookiejar':response.meta['cookiejar']},                          headers=self.headers_zhihu,                          callback=self.parse_index,                          dont_filter=True                          )

scrapy默认过滤掉重复的之前爬过的url，在request参数中添加dont_filter=True
设置不过滤url