python中urllib2高级应用 使用代理 模拟浏览器 cookie
来源:互联网 发布:可以截取音乐的软件 编辑:程序博客网 时间:2024/05/29 10:43
之前的文章分享了一下python中requests如何使用代理以及如何处理乱码问题,还有使用cookies的问题,有感兴趣的可以查看。
urllib2简介
urllib2提供一个基础函数urlopen,通过向指定的URL发出请求来获取数据。最简单的形式就是
import urllib2response=urllib2.urlopen('http://www.douban.com')html=response.read()这个过程就是我们平时刷网页的代码表现形式,它基于请求-响应模型。
response=urllib2.urlopen('http://www.douban.com')实际上可以看作两个步骤:
我们指定一个域名并发送请求
request=urllib2.request('http://www.douban.com')接着服务端响应来自客户端的请求
response=urllib2.urlopen(request)也许你会注意到,我们平时除了刷网页的操作,还有向网页提交数据。这种提交数据的行为,urllib2会把它翻译为:
import urllibimport urllib2url = 'http://www.douban.com'info = {'name' : 'Michael Foord', 'location' : 'Northampton'}data = urllib.urlencode(info) #info 需要被编码为urllib2能理解的格式,这里用到的是urllibreq = urllib2.Request(url, data)response = urllib2.urlopen(req)the_page = response.read()有时你会碰到,程序也对,但是服务器拒绝你的访问。这是为什么呢?问题出在请求中的头信息(header)。
有的服务端有洁癖,不喜欢程序来触摸它。这个时候你需要将你的程序伪装成浏览器来发出请求。请求的方式就包含在header中。
常见的情形:
import urllibimport urllib2url = 'http://www.someserver.com/cgi-bin/register.cgi'user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'# 将user_agent写入头信息values = {'name' : 'Michael Foord', 'location' : 'Northampton', 'language' : 'Python' }headers = { 'User-Agent' : user_agent }data = urllib.urlencode(values)req = urllib2.Request(url, data, headers)response = urllib2.urlopen(req)the_page = response.read()
学会使用urllib2利用cookie
说明:
1.人人网的登录地址需要用BeautifulSoup来抓取。
2.个人信息存在info中。info是一个字典{'email':'xx','password':'xx'}.key的命名需要根据实际网页中定义,比如豆瓣的定义是{'form_email':'xx','form_password':'xx'}
3.使用cookie的好处在于,登录之后你可以使用cookie中保存的信息作为头信息的一部分,利用已经保存的头信息接着访问网站。
下面解决的问题是如何在urllib2中使用代理:
proxies={"http":"114.244.112.220:8118"} #设置你想要使用的代理proxy_s=urllib2.ProxyHandler(proxies) opener=urllib2.build_opener(proxy_s) urllib2.install_opener(opener)content=urllib2.urlopen('http://ip.catr.cn/').read()#读取指定网站的内容
ff=open("content.txt",'w')ff.writelines(content)ff.close()
这里所使用的网址 http://ip.catr.cn/是用来检测你访问该网站所使用的ip。这也是检测使用代理是否成功很好的办法。
然后将内容content输出到本地文件到content.txt中,当然也可以直接输出到IDE中,直接Ctr+F,查询所使用的ip 114.244.112.220是否存在。
如果存在说明代理使用成功了。
0 0
- python中urllib2高级应用 使用代理 模拟浏览器 cookie
- python---urllib2使用代理
- python urllib2模拟浏览器请求 爬虫
- python网络爬虫系列教程——python中urllib、urllib2、cookie模块应用全解
- python模拟登录微博网站利用urllib2 和 cookie
- urllib2中使用http、https代理
- Python模拟登陆(urllib2)
- python的urllib2不使用系统默认代理
- 如何在Python中使用urllib2
- python使用cookie模拟登陆
- python urllib/urllib2应用
- python使用urllib urllib2 cookielib模拟登陆tom
- HtmlUnit 模拟浏览器以及Cookie使用示例
- Scrapy爬虫:模拟浏览器和使用代理
- Python使用mechanize模拟浏览器
- Python中urllib2总结
- python中urllib2 总结
- Python中urllib2总结
- Laxcus大数据管理系统2.0(14)- 后记
- [C++]类型转换
- Android:使用Gson解析复杂的JSON数据
- JSTL(c标签)与Struts2(s标签)标签的常用功能对比
- 大数据流式处理的利与弊
- python中urllib2高级应用 使用代理 模拟浏览器 cookie
- 升级Xcode7.3出现Cannot create __weak reference in file using manual reference counting 解决方法:
- UI控件之UIControl
- 浅谈特定型人工智能设计
- 代码单元和代码点
- Ruby元编程-学习笔记(三)-代码块
- ZOJ - 1295 Reverse Text
- 第九周项目一 阅读程序,写出程序运行结果并理解(1)
- 静态方法与实例方法的区别