scrapy爬虫注意点（2）—— 根据page循环遍历页面参数问题

1. 问题背景

• 在访问如下这种论坛网页时，经常会根据页码访问接下来的页面。很多时候，会将pageIdx带入带request中的meta中，以便将这个page数据传递下去，但是基于scrapy的yield机制，不同的写法，会让带进去的page不同。
  

2. 实例分析

• 代码

# -*- coding: utf-8 -*-import scrapyclass MyclawerSpider(scrapy.Spider):    name = 'myClawer'    allowed_domains = ['bbs.fengniao.com']    start_urls = ['http://bbs.fengniao.com/']    def start_requests(self):        # 全局变量        pageDict = {'page': 99}        pageGlobal = 99        # 关注 pageIdx    循环内的变量        for pageIdx in range(1,10):            # 关注 pageDict   循环外的变量，相对于循环来说，是全局变量(可变)            pageDict['page'] = pageIdx            # 关注 pageGlobal   循环外的变量，相对于循环来说，是全局变量(不可变)            pageGlobal = pageIdx            # 关注 pageTemp   循环外的变量，相对于循环来说，是局部变量，每轮都会创建一个单独的变量            pageTemp = pageIdx            yield scrapy.Request(                url=f'http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page={pageIdx}',                meta={'pageIdx': pageIdx, 'pageTemp': pageTemp, 'pageGlobal': pageGlobal, 'pageDict': pageDict, 'dont_redirect': True},                callback=self.parse,                errback=self.error            )    def parse(self, response):        print(f"parse url={response.url}, status={response.status}, meta={response.meta}")    def error(self, response):        pass

• 输出结果：

parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=1, status=200, meta={'pageIdx': 1, 'pageTemp': 1, 'pageGlobal': 1, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.254000186920166}parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=4, status=200, meta={'pageIdx': 4, 'pageTemp': 4, 'pageGlobal': 4, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.2779998779296875}parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=6, status=200, meta={'pageIdx': 6, 'pageTemp': 6, 'pageGlobal': 6, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.2890002727508545}parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=7, status=200, meta={'pageIdx': 7, 'pageTemp': 7, 'pageGlobal': 7, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.30900001525878906}parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=2, status=200, meta={'pageIdx': 2, 'pageTemp': 2, 'pageGlobal': 2, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.3300001621246338}parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=8, status=200, meta={'pageIdx': 8, 'pageTemp': 8, 'pageGlobal': 8, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.3259999752044678}parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=5, status=200, meta={'pageIdx': 5, 'pageTemp': 5, 'pageGlobal': 5, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.3320000171661377}parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=3, status=200, meta={'pageIdx': 3, 'pageTemp': 3, 'pageGlobal': 3, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.3320000171661377}parse url=http://bbs.fengniao.com/forum/forumdisplay.php?f=125&type=list&order=desc&sort=lastpost&page=9, status=200, meta={'pageIdx': 9, 'pageTemp': 9, 'pageGlobal': 9, 'pageDict': {'page': 9}, 'dont_redirect': True, 'download_timeout': 180.0, 'download_slot': 'bbs.fengniao.com', 'download_latency': 0.2590000629425049}

• 分析区别：
  
• 从上面的结果可以看出：
  
  • 全局变量（可变）：page = 9 记录的是循环最后的一个值。
  • 全部变量（不可变）：page = 1，2…….9，每一轮的赋值，其实事实上是产生了一个新的变量。
  • 局部变量：page = 1，2…….9，每一轮的赋值，产生了一个新的变量.
• 原因就在于yield是一个生成器，每次取下一个请求时，就会去找对应的变量。