python-快速使用urllib爬取网页(3-超时异常)
来源:互联网 发布:李炎恢php第一季 pdf 编辑:程序博客网 时间:2024/05/19 09:17
爬虫怕的就是超时,而出现最多的就是超时,这种问题如何解决那?
# coding=utf-8import urllib.requestfor i in range(1,100): try: file = urllib.request.urlopen("http://yum.iqianyue.com",timeout=1) data = file.read() print(len(data)) except Exception as e: print("出现异常-->"+str(e))
在timeout内不响应则判断为超时(爬取不成功)
自主设置:file=urllib.request.urlopen(“测试网址”,timeout=测试秒数)
功能:某些网站服务器不好的情况下,我们要把timeout设置的大一点,否则爬出失败。
阅读全文
0 0
- python-快速使用urllib爬取网页(3-超时异常)
- python-快速使用urllib爬取网页(1)
- python-快速使用urllib爬取网页(4-GET)
- python-快速使用urllib爬取网页(5-POST)
- python-快速使用urllib爬取网页(6-代理服务器)
- python-快速使用urllib爬取网页(7-DebugLog)
- python-快速使用urllib爬取网页(8-URLError)
- python-快速使用urllib爬取网页(小结)
- python-快速使用urllib爬取网页(2-Headers属性)
- 01爬虫---快速使用Urllib爬取网页
- python urllib爬取网页编码问题
- Python爬虫实例(4)-用urllib、re和正则表达式爬取网页图片
- python 使用selenium+urllib爬取淘宝MM照片
- 使用selenium等待网页加载完成,lxml解析网页,利用urllib爬取图片
- python urllib, urllib2实现登陆和简单爬取网页(个人坑点笔记)
- Python urllib 爬取基金数据
- python用urllib爬取百度
- Python 3.4 - urllib.request 学习爬虫爬网页(一)
- 程序员调 Bug 的 5 个阶段
- 乡愁
- 2017实训
- js高级——引用类型和值类型在函数中的使用
- C语言应用软件
- python-快速使用urllib爬取网页(3-超时异常)
- 我的第一次博客
- 输入一个数判断能否被五整除
- Java多线程系列--【JUC原子类01】- AtomicLong原子类
- C语言新手基础知识
- 实训第一课
- 小技巧:位运算实现变量交换
- Rhyme/最大子序列和(分治策略)Java版
- Spring类加载器的选择逻辑