python urllib的使用介紹

来源:互联网 发布:linux php安装方式 编辑:程序博客网 时间:2024/04/28 21:36
一。该模块的用途:
1。从制定的URL获取数据
2。对URL字符串进行格式化处理
二。__version__='1.17'的urllib模块中的主要函数和类介绍:
1。函数:
(1)def urlopen(url, data=None, proxies=None)
参数说明:
url                     符合URL规范的字符串(包括http,ftp,gopher,local-file标准)
data                  向指定的URL发送的数据字符串,GET和POST都可,但必须符合标准格式
                         格式为key=value&key1=value1....
proxies              代理服务器地址字典,如果未指定,在WINDOWS平台上则依据IE的设置
                         不支持需要验证的代理服务器
                          例如:proxies = {'http': 'http://www.someproxy.com:3128'}
                          该例子表示一个http代理服务器http://www.someproxy.com:3128
函数实现说明:
                          该函数使用类FancyURLopener从URLopener继承来的open方法执行具体的操作。

返回值:
                         返回一个类似文件对象的对象(file_like) object
                          该对象拥有的方法为
                          read()
                          readline()
                          readlines()
                          fileno()
                          close()
                          以上方法同file object的类似方法的使用方法基本一致
                          info()返回从服务器传回的MIME标签头
                          geturl()返回真实的URL,之所以称为真实,是因为对于某些重定向的URL,将返回被重定后的。

(2)def urlretrieve(url, filename=None, reporthook=None, data=None):
参数说明:
url                         符合URL规范的字符串
filename                本地文件路径的字符串,从URL返回的数据将保存在该文件中,如果设置为None
                              则生成一个临时文件

reporthook 一个函数引用,自己可以任意定义该函数的行为,只需要保证函数有三个参数
                             urlretrieve为这个函数传递的三个参数的含义为:
                             第一个参数为目前为止传递的数据块数量
                             第二个参数为每个数据块的大小,单位为byte
                             第三个参数文件总的大小(某些时候可能为-1)
data                      向指定的URL发送的数据字符串,GET和POST都可,但必须符合标准格式
                             格式为key=value&key1=value1....
函数实现说明:
                             该函数使用类FancyURLopener从URLopener继承来的retrieve方法执行具体的操作。
返回值:
                             返回一个元组 (filename, headers)
                             filename为参数中的 filename
                             headers 为从服务器传回的MIME标签头

原创粉丝点击