selenium设置chrome和phantomjs的请求头信息
来源:互联网 发布:淘宝互刷平台686 编辑:程序博客网 时间:2024/05/16 05:16
出于反爬虫也好-跳转到手机端页面也好都需要设置请求头,那么如何进行呢?
目录
- 一:selenium设置phantomjs请求头:
- 二:selenium设置chrome请求头:
- 三:selenium设置chrome–cookie:
- 四:selenium设置phantomjs-图片不加载:
一:selenium设置phantomjs请求头:
可以复制下列代码运行,会访问https://httpbin.org/get?show_env=1 该网站能呈现你请求的头信息
来源于知乎回答
# !/usr/bin/python# -*- coding: utf-8 -*-from selenium import webdriverfrom selenium.webdriver.common.desired_capabilities import DesiredCapabilitiesdcap = dict(DesiredCapabilities.PHANTOMJS)dcap["phantomjs.page.settings.userAgent"] = ("Mozilla/5.0 (Linux; Android 5.1.1; Nexus 6 Build/LYZ28E) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.23 Mobile Safari/537.36")driver = webdriver.PhantomJS(desired_capabilities=dcap)driver.get("https://httpbin.org/get?show_env=1")driver.get_screenshot_as_file('01.png')driver.quit()作者:JIM LIU链接:https://www.zhihu.com/question/35547395/answer/106652782来源:知乎著作权归作者所有,转载请联系作者获得授权。
二:selenium设置chrome请求头:
来源http://www.cnblogs.com/TTyb/p/6128323.html 感恩原作者
如代码
# !/usr/bin/python# -*- coding: utf-8 -*-from selenium import webdriver# 进入浏览器设置options = webdriver.ChromeOptions()# 设置中文options.add_argument('lang=zh_CN.UTF-8')# 更换头部options.add_argument('user-agent="Mozilla/5.0 (iPod; U; CPU iPhone OS 2_1 like Mac OS X; ja-jp) AppleWebKit/525.18.1 (KHTML, like Gecko) Version/3.1.1 Mobile/5F137 Safari/525.20"')browser = webdriver.Chrome(chrome_options=options)url = "https://httpbin.org/get?show_env=1"browser.get(url)browser.quit()
三:selenium设置chrome–cookie:
cookie用于模拟登陆
# !/usr/bin/python# -*- coding: utf-8 -*-from selenium import webdriverbrowser = webdriver.Chrome()url = "https://www.baidu.com/"browser.get(url)# 通过js新打开一个窗口newwindow='window.open("https://www.baidu.com");'# 删除原来的cookiebrowser.delete_all_cookies()# 携带cookie打开browser.add_cookie({'name':'ABC','value':'DEF'})# 通过js新打开一个窗口browser.execute_script(newwindow)input("查看效果")browser.quit()
四:selenium设置phantomjs-图片不加载:
from selenium import webdriveroptions = webdriver.ChromeOptions()prefs = { 'profile.default_content_setting_values': { 'images': 2 }}options.add_experimental_option('prefs', prefs)browser = webdriver.Chrome(chrome_options=options)# browser = webdriver.Chrome()url = "http://image.baidu.com/"browser.get(url)input("是否有图")browser.quit()
效果如图:
转载地址:
https://www.urlteam.org/2017/02/selenium%E8%AE%BE%E7%BD%AEchrome%E5%92%8Cphantomjs%E7%9A%84%E8%AF%B7%E6%B1%82%E5%A4%B4%E4%BF%A1%E6%81%AF/
阅读全文
0 0
- selenium设置chrome和phantomjs的请求头信息
- selenium设置phantomjs和chrome请求头
- PhantomJS、Selenium、Chrome驱动的mac版安装和配置
- Python配置Selenium+Chrome环境和Selenium+PhantomJS环境
- php设置http请求头信息和响应头信息
- phantomjs和selenium设置proxy、headers
- selenium 和 phantomJS或chrome浏览器抓取渲染网页
- Selenium+Chrome(PhantomJs) Python爬虫
- angularjs设置请求头信息
- Selenium和PhantomJS介绍
- phantomjs+selenium爬取拉勾招聘信息
- selenium+phantomjs的坑
- HttpClient 发送Post,Get请求例子(包含设置请求头信息和获取返回头信息)
- 如何通过Python+Selenium+PhantomJS/Chrome获取HTTP状态和Response Headers
- Http请求流程和请求头信息
- Python3安装PhantomJS和Selenium
- 安装Selenium和安装PhantomJS
- PHP curl设置请求头信息
- 第六周--拟合判断
- 电路板焊接完成发现CPU没有工作,需要从哪些方面考虑解决这个问题?
- android权限管理
- Eclipse中引入sqljdbc4-4.0.jar找不到的问题
- Jmeter web 多线程 登录后接口压力测试
- selenium设置chrome和phantomjs的请求头信息
- 2017/9/13腾讯的机试题(拼凑硬币)
- [Linux]CentOS7搭建Nginx + MySQL + PHP
- 跳石板问题
- express源码解析
- Oracle如何在update中多表关联更新
- Spark 贝叶斯分类算法
- Mesos
- mysql数据批量增加