通过python爬虫统计?站此时直播在线总人数

来源:互联网 发布:java身份证格式验证 编辑:程序博客网 时间:2024/03/28 21:01

初学python第三天


博主特别喜爱逛?站。今天在直播区闲逛,发现一个变化,过去?站人数最多不过3万,如今却有很多主播人数翻倍增长,普遍倍增。粗略算了一下,貌似和在线人数相同了。

为了验证这个想法。对?站的直播在线人数进行了统计。


选用?站直播中的热度排行作为抓取网页,我试了一下,向下翻页最少能看到1人的主播,大概就是全部人数了。

?站直播主站中的请求到的文档中并没有每个直播间在线人数信息。


注意到一个细节,在点下方加载更多时,出现了一个html请求,把这个地址放在浏览器中打开,发现是一个表单,其中有一个数据,Online:"****",这个数据就是我苦苦寻找的在线人数。


好了,开始写代码,

1.写请求头

2.遍历网页(1-15)页

3.请求网页文本

4.正则提取online数目

5.for把online相加

6.结束,获得online总数


最后获得的数据是:110万左右

而在线人数显示的是80万。

。。。。

可以理解为30万人点开了两个直播



原创粉丝点击