python基于selenium+PhantomJS实现用提交表单,并点击按钮功能,获取返回的页面源码和ur等信息l。
来源:互联网 发布:网络114黄页 编辑:程序博客网 时间:2024/06/05 06:48
python做爬取页面功能的时候,会遇到有与网站交互操作的需求,例如要点击某个按钮,填写表单数据。下面用百度搜索作为一个简单的例子模拟实现。
代码很简单,12行左右。基于selenium+PhantomJS可以很简单地实现。
至于开发的环境:
环境是windows,python版本为3.5.2。selenium+PhantomJS搭建步骤参考:http://blog.csdn.net/u014175572/article/details/54427525
1、首先分析百度的页面
搜索框的id为kw;
‘百度一下’这个按钮的id为su
2、代码实现:
# coding:utf-8from selenium import webdriverdriver = webdriver.PhantomJS()driver.get('https://www.baidu.com')elem = driver.find_element_by_id('kw')elem.send_keys(u'php')# elem.send_keys(Keys.ENTER) #点击键盘上的Enter按钮driver.find_element_by_id('su').click() # 点击了百度页面上的‘百度一下’按钮driver.refresh()print('页面标题:', driver.title) # 页面标题print(driver.current_url) # 当前页面urlprint('搜索后的页面源码:\n', driver.page_source) # 页面源码
3、显示的结果:
页面标题: php_百度搜索https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=php&rsv_pq=90054d840002556e&rsv_t=24b3LfXTDZDfLDXd%2Bz5lwEeOb0bngjPMJwhotOe2fMN6iYGUysoGTfPf0hM&rqlang=cn&rsv_enter=0&rsv_sug3=3&inputT=64&rsv_sug4=64搜索后的页面源码:.....................................
4、说明
elem = driver.find_element_by_id('kw')
elem.send_keys(u'php')
相当于在模拟浏览器在百度的首页搜索框中填入了'php'
driver.find_element_by_id('su').click()
相当于点击了百度页面上的‘百度一下’按钮
获取的源码即输入'php'再点击'百度一下'后的源码。
此刻在浏览器中输入:
https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=php&rsv_pq=d44ba44100045150&rsv_t=af41NtOm9qbMEWoyIhxK0UX1lw%2BVW0juT%2FvmokhEVFKq3JCC%2FTx2nIsE2cI&rqlang=cn&rsv_enter=0&rsv_sug3=3&inputT=73&rsv_sug4=73得到结果如下,也就是直接用浏览器输入php,再点击‘百度一下’的结果。
右键查看页面源码,也与driver.page_source的输出结果一致。
1 0
- python基于selenium+PhantomJS实现用提交表单,并点击按钮功能,获取返回的页面源码和ur等信息l。
- 基于Python,Selenium和PhantomJS实现动态页面爬取
- 【web布局】点击按钮返回页面顶部的功能实现
- Selenium + PhantomJS + python 简单实现爬虫的功能
- python+selenium+phantomjs实现爬虫功能
- 【Python】模拟登陆并抓取拉勾网信息(selenium+phantomjs)
- 基于Python, Selenium, Phantomjs无头浏览器访问页面
- [Python爬虫] Selenium+Phantomjs动态获取CSDN下载资源信息和评论
- Python+Selenium 自动化实现实例-获取页面元素信息
- python基于selenium+PhantomJS实现搜索交互案例
- Selenium&&PhantomJS获取网站中的JS返回的数据
- 实现用户注册功能:用servlet验证提交的数据是否合法,不合法返回注册页面,并提示出错。
- selenium在执行phantomjs的API并获取执行结果
- Python提交表单并处理返回结果
- 获取表单提交的信息
- Android 中点击某个按钮实现 返回键 的功能
- Android 中点击某个按钮实现 返回键 的功能
- 表单中有多个提交按钮,想实现点击不同的按钮,实现不同的操作
- 模拟Vue之数据驱动2
- UNIX环境高级编程--标准I/O
- Centos安装Docker
- 浅谈redis应用场景
- 2017年这10场大数据会议最值得参加!
- python基于selenium+PhantomJS实现用提交表单,并点击按钮功能,获取返回的页面源码和ur等信息l。
- SICP 2.2.3 对一种数据处理过程的抽象
- Java垃圾回收机制
- wait queue 2
- JS面向对象的继承三种方法:原型继承,原型冒充继承,复制继承
- cookie、session区别
- 动态替换模型的shader
- jQuery中ajax的4种常用请求方式
- C++学习笔记lesson 8 c++&object c review