python-快速使用urllib爬取网页(3-超时异常)

来源:互联网 发布:李炎恢php第一季 pdf 编辑:程序博客网 时间:2024/05/19 09:17

爬虫怕的就是超时,而出现最多的就是超时,这种问题如何解决那?

# coding=utf-8import urllib.requestfor i in range(1,100):    try:        file = urllib.request.urlopen("http://yum.iqianyue.com",timeout=1)        data = file.read()        print(len(data))    except Exception as e:        print("出现异常-->"+str(e))

在timeout内不响应则判断为超时(爬取不成功)
自主设置:file=urllib.request.urlopen(“测试网址”,timeout=测试秒数)
功能:某些网站服务器不好的情况下,我们要把timeout设置的大一点,否则爬出失败。

原创粉丝点击