python访问web的利器:urllib2
来源:互联网 发布:黑莓q20软件下载 编辑:程序博客网 时间:2024/05/22 04:25
http://hi.baidu.com/jakisou/blog/item/ff5c85510b9e423343a75b7d.html
使用Python访问网页主要有三种方式: urllib, urllib2, httplib
urllib比较简单,功能相对也比较弱,httplib简单强大1. 最简单的页面访问
res=urllib2.urlopen(url)
print res.read()
2. 加上要get或post的数据
data={"name":"hank", "passwd":"hjz"}
urllib2.urlopen(url, urllib.urlencode(data))
3. 加上http头
header={"User-Agent": "Mozilla-Firefox5.0"}
urllib2.urlopen(url, urllib.urlencode(data), header)
使用opener和handler
opener = urllib2.build_opener(handler)
urllib2.install_opener(opener)
4. 加上session
cj = cookielib.CookieJar()
cjhandler=urllib2.HTTPCookieProcessor(cj)
opener = urllib2.build_opener(cjhandler)
urllib2.install_opener(opener)
5. 加上Basic认证
password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm()
top_level_url = "http://www.163.com/"
password_mgr.add_password(None, top_level_url, username, password)
handler = urllib2.HTTPBasicAuthHandler(password_mgr)
opener = urllib2.build_opener(handler)
urllib2.install_opener(opener)
6. 使用代理
proxy_support = urllib2.ProxyHandler({"http":"http://1.2.3.4:3128/"})
opener = urllib2.build_opener(proxy_support)
urllib2.install_opener(opener)
7. 设置超时
socket.setdefaulttimeout(5)
- python访问web的利器:urllib2
- python访问web的利器:urllib2
- python访问web的利器:urllib2
- 【Python】urllib2访问url
- Python的urllib2模块
- Python的urllib2模块
- Python的urllib2
- python urllib2的proxyhandler
- Python 的 urllib2
- Python-urllib2的使用
- python]用urllib2设置代理访问网页
- python urllib2的使用案例
- Python 的 urllib,urllib2,httplib
- python的urllib2 模块解析
- python的urllib和urllib2
- python urllib2库的用法
- python urllib2
- python urllib2
- 查询一个bin文件的版本号
- 编程实现单链表的逆置
- IfModule mpm_worker_module
- 客户管理的重要性
- 用dropbox做私有git服务器
- python访问web的利器:urllib2
- Java获取当前时间
- 实例解说 fdisk 使用方法
- 程序员,闯你所处的行业
- 消息函数SendMessage传递CString类型参数
- java开发 properties文件读取
- 管理是一种艺术
- Tomcat6 内存和线程配置
- 让对话框透明的方法