Python urllib的urlretrieve()函数解析
来源:互联网 发布:ipad看电影软件推荐 编辑:程序博客网 时间:2024/05/19 04:54
urllib模块提供的urlretrieve()函数。urlretrieve()方法直接将远程数据下载到本地。
urlretrieve(url, filename=None, reporthook=None, data=None)
- 参数filename指定了保存本地路径(如果参数未指定,urllib会生成一个临时文件保存数据。)
- 参数reporthook是一个回调函数,当连接上服务器、以及相应的数据块传输完毕时会触发该回调,我们可以利用这个回调函数来显示当前的下载进度。
- 参数data指post导服务器的数据,该方法返回一个包含两个元素的(filename, headers) 元组,filename 表示保存到本地的路径,header表示服务器的响应头
#!/usr/bin/env python# coding=utf-8import osimport urllibdef cbk(a,b,c): '''回调函数 @a:已经下载的数据块 @b:数据块的大小 @c:远程文件的大小 ''' per=100.0*a*b/c if per>100: per=100 print '%.2f%%' % perurl='http://www.baidu.com'dir=os.path.abspath('.')work_path=os.path.join(dir,'baidu.html')urllib.urlretrieve(url,work_path,cbk)
下面是urlretrieve()下载文件的实例,可以显示下载进度。
#!/usr/bin/env python# coding=utf-8import osimport urllibdef cbk(a,b,c): '''回调函数 @a:已经下载的数据块 @b:数据块的大小 @c:远程文件的大小 ''' per=100.0*a*b/c if per>100: per=100 print '%.2f%%' % perurl='http://www.python.org/ftp/python/2.7.5/Python-2.7.5.tar.bz2'dir=os.path.abspath('.')work_path=os.path.join(dir,'Python-2.7.5.tar.bz2')urllib.urlretrieve(url,work_path,cbk)
urlopen()可以轻松获取远端html页面信息,然后通过python正则对所需要的数据进行分析,匹配出想要用的数据,再利用urlretrieve()将数据下载到本地。对于访问受限或者对连接数有限制的远程url地址可以采用proxies(代理的方式)连接,如果远程连接数据量过大,单线程下载太慢的话可以采用多线程下载,这个就是传说中的爬虫。
0 0
- Python urllib的urlretrieve()函数解析
- Python urllib的urlretrieve()函数解析
- Python urllib的urlretrieve()函数解析
- Python urllib的urlretrieve()函数解析Python的爬虫函数
- Python中urllib的urlretrieve
- python 下载 保存 图片的urllib.urlretrieve()函数 简单用法
- python之urllib模块urlretrieve()函数初窥
- python urllib urlretrieve学习使用
- Python urllib模块urlretrieve()详解
- [python]解决urllib.urlretrieve()下载不完全的问题
- urllib.urlretrieve
- urllib.urlretrieve()
- urllib.urlretrieve()
- Python urllib模块urlopen()与urlretrieve()详解
- Python urllib模块urlopen()与urlretrieve()详解
- python-urllib简介【urlopen()、urlretrieve()、编解码】
- [python爬虫]使用urllib函数urlretrieve报错[socket error][Errno 10054]
- 关于python 中的 urlretrieve() 函数
- 事缓则圆?
- Android Studio使用smack进行ejabberd创建用户
- RegexKitLite的使用
- SVN与资源同步图标含义
- 快速定位解决Android内存泄漏
- Python urllib的urlretrieve()函数解析
- Python正则表达式指南
- 代码调试包Infragistics Windows Forms Test Automation发布v16.1|附下载
- Chinese_PRC_CI_AS
- redhat虚拟机增大交换空间
- 详解CSS选择器、优先级与匹配原理
- eclipse中配置的tomcat 启动正常 但是访问报404错误
- JAVA中集合框架的知识点总结
- macOS Sierra || ios10 || xcode8||问题汇总