解决Python爬虫在爬资源过程中使用urlretrieve函数下载文件不完全且避免下载时长过长陷入死循环,并在下载文件的过程中显示下载进度
来源:互联网 发布:软件测试毕业总结 编辑:程序博客网 时间:2024/05/16 07:55
import urllibfrom urllib.request import urlretrieve#解决urlretrieve下载文件不完全的问题且避免下载时长过长陷入死循环def auto_down(url,filename): try: urlretrieve(url,filename,jindu) except socket.timeout: count = 1 while count <= 15: try: urlretrieve(url, filename,jindu) break except socket.timeout: err_info = 'Reloading for %d time' % count if count == 1 else 'Reloading for %d times' % count print(err_info) count += 1 if count > 15: print("下载失败")#urlretrieve()的回调函数,显示当前的下载进度#a为已经下载的数据块#b为数据块大小#c为远程文件的大小global myperdef jindu(a,b,c): if not a: print("连接打开") if c<0: print("要下载的文件大小为0") else: global myper per=100*a*b/c if per>100: per=100 myper=per print("当前下载进度为:" + '%.2f%%' % per) if per==100: return True
阅读全文
0 0
- 解决Python爬虫在爬资源过程中使用urlretrieve函数下载文件不完全且避免下载时长过长陷入死循环,并在下载文件的过程中显示下载进度
- Python爬虫——解决urlretrieve下载不完整问题且避免用时过长
- Android中AsyncTask进行后台下载文件并在下拉菜单显示下载进度
- Android中AsyncTask进行后台下载文件并在下拉菜单显示下载进度
- Android中AsyncTask进行后台下载文件并在下拉菜单显示下载进度
- 文件下载之使用AsyncTask并在进度对话框中显示下载进度
- [python]解决urllib.urlretrieve()下载不完全的问题
- android中如何下载文件并显示下载进度
- android中如何下载文件并显示下载进度
- 26.Struts2文件下载并在下载文件之前进行权限检查
- iOS中使用GCD/多线程:在下载的过程中显示动画
- Android中从网上下载一张图片显示进度并显示下载好的图片
- C#下载文件并显示显示进度的方法实现
- NSURLConnection下载文件并显示进度
- NSURLConnection下载文件并显示进度(HEAD)
- NSURLConnection下载文件并显示进度(HEAD)
- Unity下载文件并显示进度
- Unity3d下载大型文件并显示进度
- softmax回归
- 2017自己前端面试题总结
- Java中对数组的两种操作方法Arrays、foreach()
- unity优化《二》--Texture图片空间和内存占用分析
- ConfigReader(三十八)—— ReadMsgConfig
- 解决Python爬虫在爬资源过程中使用urlretrieve函数下载文件不完全且避免下载时长过长陷入死循环,并在下载文件的过程中显示下载进度
- Maven无法下载依赖包解决办法
- 联系第五天总结
- 匿名方法、lambda
- Python基础教程(2)列表和元组
- 【UVA1169】Robotruck
- HDU 4343 Interval query
- Samba服务器创建与使用
- 工厂模式