参数timeout--防止URL不可访问

来源:互联网 发布:sublime text python 编辑:程序博客网 时间:2024/06/09 15:42

参数 timeout 为了防止url不可访问,或者响应速度太慢而造成的时间浪费。

比如,你要爬取1000个网站,如果有100个需要30S 才能返回数据,等待返回的时间就需要50分钟,如果你设置10s 超时,那么就可以知道最长需要多久爬完1000个网站。

代码:requests.get(timeout=60)
阅读全文
1 0
原创粉丝点击