基于webkit浏览器,自动获取完整cookie的方法 -- python
来源:互联网 发布:2017年流行什么网络语? 编辑:程序博客网 时间:2024/06/06 19:30
在进行自动抓取某些比较x的网站,例如知乎,微博时,需要登录,才能进行某些操作。
例如在抓取知乎首页,使用requests,肯定是不能获取获取登录后的页面的信息。而使用selenium 中的firefox 进行操作,获取登录后的页面,依旧不能将这个页面上的信息抓取下来。
登录前
登录后
一般有如下方法来解决:
1 抓包获取cookie值
通过在网页浏览器登录网站,然后刷新网页,通过查看源码,查看发送请求的头部信息,查取cookie值,然后在程序中,将cookie赋值给发送请求的cookie参数中。requests中可以实现这一功能。
2 模拟登录
利用模拟浏览器的方式登陆,比如ghost.py, selenium等进行操作。程序中,浏览器对象获取用户名框,密码框,输入相应的值,然后点击登录,浏览器对象的一些属性就发生变化,这是可以通过浏览器对象属性返回cookie,返回的cookie可以在后面的请求中使用。
但是,这种模拟登录的方法,在遇到需要验证码登录的时候会很麻烦。
3 手动登录,返回cookie
跟方法 2 类似,同样时基于模拟浏览器的方法。使用 selenium + firefox。
在程序中,调用selenium的firefox对象,使用firefox对象打开网页,程序会调用本地(或者远程,自己定义)的firefox浏览器,并打开登录页面。此时,进行人工在此页面进行登录操作,即输入帐号,密码,验证码,点击登录。完成后,程序中的firefox对象的属性发生变化,此时,返回firefox对象的cookie值,即是我们需要的值。
0 1
- 基于webkit浏览器,自动获取完整cookie的方法 -- python
- 基于WebKit浏览器的本地扩展方法
- 基于WebKit浏览器的本地扩展方法
- 基于Apple WebKit 的windows 版浏览器
- 基于Webkit 浏览器控件的设计
- httpServletRequest获取浏览器的cookie
- 获取Chrome浏览器的Cookie
- 如何保持基于webkit开发的浏览器的健壮性
- 基于Apple WebKit 的windows 版浏览器 (2)
- 基于webkit浏览器开发html/css3的web应用程序
- 基于WebKit内核的浏览器设置放大缩小
- Winform调用WebKitBrowser,基于chrome内核WebKit的浏览器控件
- 基于Webkit的浏览器关键渲染路径介绍
- 手机浏览器无法获取COOKIE的原因
- 获取浏览器里所有的cookie
- 浏览器获取cookie的两种方式
- AFHTTPSessionManager获取cookie的方法
- 判断客户端浏览器类型的完整方法
- 技术人员如何创业《四》- 打造超强执行力团队
- 【Java线程】Java线程池ExecutorService
- Java构造和解析Json数据的两种方法详解
- Dom4j中的中文编码问题
- FreeRTOS内核详解—-Queue 1
- 基于webkit浏览器,自动获取完整cookie的方法 -- python
- Samsung 6818平台首次编译遇到的问题
- iOS 多线程防止界面跳转卡顿
- 修改Tomcat内存大小
- VIP新人报道
- 彻底解决android读取中文txt的乱码(自动判断文档类型并转码)
- DOM对象转为Jquery对象 Jquery对象转为DOM对象
- 关于Genymotion启动异常、virtualbox 不能为虚拟电脑打开一个新任务/解决Genymotion出现Unable to load VirtualBox engine的问题
- ExecutorService生命周期