python基于selenium+PhantomJS实现用提交表单,并点击按钮功能,获取返回的页面源码和ur等信息l。

来源:互联网 发布:网络114黄页 编辑:程序博客网 时间:2024/06/05 06:48

python做爬取页面功能的时候,会遇到有与网站交互操作的需求,例如要点击某个按钮,填写表单数据。下面用百度搜索作为一个简单的例子模拟实现。

代码很简单,12行左右。基于selenium+PhantomJS可以很简单地实现。

至于开发的环境:

环境是windows,python版本为3.5.2。selenium+PhantomJS搭建步骤参考:http://blog.csdn.net/u014175572/article/details/54427525



1、首先分析百度的页面


搜索框的id为kw;


‘百度一下’这个按钮的id为su


2、代码实现:

# coding:utf-8from selenium import webdriverdriver = webdriver.PhantomJS()driver.get('https://www.baidu.com')elem = driver.find_element_by_id('kw')elem.send_keys(u'php')# elem.send_keys(Keys.ENTER)  #点击键盘上的Enter按钮driver.find_element_by_id('su').click()  # 点击了百度页面上的‘百度一下’按钮driver.refresh()print('页面标题:', driver.title)  # 页面标题print(driver.current_url)  # 当前页面urlprint('搜索后的页面源码:\n', driver.page_source)  # 页面源码


3、显示的结果:


页面标题: php_百度搜索https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=php&rsv_pq=90054d840002556e&rsv_t=24b3LfXTDZDfLDXd%2Bz5lwEeOb0bngjPMJwhotOe2fMN6iYGUysoGTfPf0hM&rqlang=cn&rsv_enter=0&rsv_sug3=3&inputT=64&rsv_sug4=64搜索后的页面源码:.....................................


4、说明

elem = driver.find_element_by_id('kw')
elem.send_keys(u'php')

相当于在模拟浏览器在百度的首页搜索框中填入了'php'

driver.find_element_by_id('su').click()  

相当于点击了百度页面上的‘百度一下’按钮

获取的源码即输入'php'再点击'百度一下'后的源码。

此刻在浏览器中输入:

https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=php&rsv_pq=d44ba44100045150&rsv_t=af41NtOm9qbMEWoyIhxK0UX1lw%2BVW0juT%2FvmokhEVFKq3JCC%2FTx2nIsE2cI&rqlang=cn&rsv_enter=0&rsv_sug3=3&inputT=73&rsv_sug4=73
得到结果如下,也就是直接用浏览器输入php,再点击‘百度一下’的结果。



右键查看页面源码,也与driver.page_source的输出结果一致。

1 0
原创粉丝点击