python爬虫爬取简单的动态数据-异步加载问题

使用谷歌或者火狐浏览器。

第一步：

打开要爬取的网页，右键检查或者审查元素

第二步:

在左边或者右边的网页加载信息中找到Network中的XHR

第三步：

下拉网页使它加载出更多内容，XHR中就会出现如下信息，对比打开的网页：

第四步：

编写程序，利用for循环拼接网页地址字符串：