selenium 的显示等待与隐式等待
来源:互联网 发布:微创软件 外派 编辑:程序博客网 时间:2024/06/05 11:57
现在很多的网页都采用了 Ajax 技术,那么采用一般的静态爬虫技术会出现抓取不到页面的元素。比如歌曲的主页会有评论数量,一般评论数量是动态加载的。
所以这就涉及到selenium,支持各种浏览器,包括Chrome,Safari,Firefox 等主流界面式浏览器,如果你在这些浏览器里面安装一个 Selenium 的插件,那么便可以方便地实现Web界面的测试。
driver = webdriver.Chrome()driver.get("http://somedomain/url_that_delays_loading")driver.page_source--获取网页渲染后的源代码
获得页面元素
element = driver.find_element_by_id("passwd-id")element = driver.find_element_by_name("passwd")element = driver.find_elements_by_tag_name("input")element = driver.find_element_by_xpath("//input[@id='passwd_id']")
与页面交互
element.send_keys(“text”)
element.clear()清空元素的内容
element.click()点击这个网页组件
切换窗口,一个是切换到windows下,一个是切换到frame下
driver.switch_to_window(“windowName”)
driver.switch_to_frame(“frameName.0.child”)
driver.switch_to_alert()–截取弹窗对象
而
我们最重要的就是了解selenium的页面等待问题
,动态加载的页面需要时间等待页面上的所有元素都渲染完成,如果在没有渲染完成之前我们就switch_to_或者是find_elements_by_,那么就可能出现元素定位困难而且会提高产生 ElementNotVisibleException 的概率。
直接找到我们要抓取的tag或者直接没有等待元素出来就开始交互导致不起作用的问题。
selenium的页面等待有显示等待和隐式等待
隐式等待
比较简单,提供一个等待时间,单位为秒,则等这个时间过去在去做其他操作。
driver.implicitly_wait(10),如果不设置默认为0
显示等待
指定某个条件,然后设置最长等待时间。如果在这个时间还没有找到元素,那么便会抛出异常。只有该条件触发,才执行后续代码,这个使用更灵活。
主要涉及到selenium.webdriver.support 下的expected_conditions类。
example
driver = webdriver.Chrome()driver.get("http://somedomain/url_that_delays_loading")try: element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, "myDynamicElement")) )finally: driver.quit()
example2
wait_result = WebDriverWait(driver=self.driver, timeout=300, poll_frequency=0.5, ignored_exceptions=None).until( EC.text_to_be_present_in_element((By.XPATH, '//*[@id="VolumeTable"]/tbody/tr[1]/td[4]/label'), u'可用'))
这里的presence_of_element_located(())、text_to_be_present_in_element(())是其中两种方式,其实还有其他相关方式。EC配合使用的 until() 或者 until_not() 方法说明:
until(method, message='')调用该方法体提供的回调函数作为一个参数,直到返回值为Trueuntil_not(method, message='')调用该方法体提供的回调函数作为一个参数,直到返回值为False
模块包含一套预定义的条件集合。大大方便了 WebDriverWait 的使用。
Expected Conditions 类提供的预期条件判断方法
在进行浏览器自动化的时候,有一些条件是经常出现的,下面列出的是每个条件的实现。Selenium Python binding provides some convienence 提供了很多实用的方法。
title_is:判断当前页面的title是否等于预期title_contains:判断当前页面的title是否包含预期字符串presence_of_element_located:判断某个元素是否被加到了dom树里,并不代表该元素一定可见visibility_of_element_located:判断某个元素是否可见. 可见代表元素非隐藏,并且元素的宽和高都不等于0visibility_of:跟上面的方法做一样的事情,只是上面的方法要传入locator,这个方法直接传定位到的element就好了presence_of_all_elements_located:判断是否至少有1个元素存在于dom树中。举个例子,如果页面上有n个元素的class都是'column-md-3',那么只要有1个元素存在,这个方法就返回Truetext_to_be_present_in_element:判断某个元素中的text是否 包含 了预期的字符串text_to_be_present_in_element_value:判断某个元素中的value属性是否包含了预期的字符串frame_to_be_available_and_switch_to_it:判断该frame是否可以switch进去,如果可以的话,返回True并且switch进去,否则返回Falseinvisibility_of_element_located:判断某个元素中是否不存在于dom树或不可见element_to_be_clickable - it is Displayed and Enabled:判断某个元素中是否可见并且是enable的,这样的话才叫clickablestaleness_of:等某个元素从dom树中移除,注意,这个方法也是返回True或Falseelement_to_be_selected:判断某个元素是否被选中了,一般用在下拉列表element_located_to_be_selectedelement_selection_state_to_be:判断某个元素的选中状态是否符合预期element_located_selection_state_to_be:跟上面的方法作用一样,只是上面的方法传入定位到的element,而这个方法传入locatoralert_is_present:判断页面上是否存在alert
参数1:By类确定哪种选择方式
from selenium.webdriver.common.by import By
参数2:值,可能是xpath的值,可能是id,name等,取决于前面是By.XPATH,By.ID究竟是哪种方式去定位元素。
可以在WebDriverWait()构造时传入下面参数,哪一个浏览器,来控制超时时间,多长时间检测一次这个元素是否加载,是否有异常报出。
driver:浏览器驱动
timeout:最长超时等待时间
poll_frequency:检测的时间间隔,默认为500ms
ignore_exception:超时后抛出的异常信息,默认情况下抛 NoSuchElementException 异常
基本的使用方法:
模块导入
from selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as EC
try{wait_result = WebDriverWait(四个参数).until( EC.条件实现((By类定位方式, 定位值), message))}finally{//}
另外使用selenium会打开浏览器自动加载页面,我们需要安装用来自动化测试浏览器的插件来完成,如果不想打开网页,觉得比较麻烦,可以用
一个没界面的 PhantomJS,用 webdriver.PhantomJS()来代替webdriver.Chrome(),效率比较高
,
- selenium 的显示等待与隐式等待
- Selenium控制流程(显示等待与隐式等待)
- 【Selenium】9显示等待、隐式等待
- Selenium--显示等待和隐式等待
- Selenium显示等待和隐式等待的区别
- selenium显示等待与隐士等待的区别
- Selenium之等待函数--强制等待,显示等待,隐式等待
- selenium 显示等待,隐士等待
- selenium的webdriver三种等待方式(显式等待WebDriverWait+implicitly_wait隐式等待+sleep强制等待)
- Selenium的延迟等待
- Selenium的延迟等待
- Selenium的延迟等待
- Selenium的延迟等待
- Selenium的延迟等待
- Selenium的延迟等待
- Selenium的延迟等待
- selenium 常用的显式等待
- [selenium] selenium+java+testNG 显示等待
- selenium爬虫需要注意检测页面加载和内容加载进度
- ubuntu下安装matlab教程
- composer手动安装
- HDU 4734F(x)
- 《华为机试在线训练》之简单密码
- selenium 的显示等待与隐式等待
- 面试相关
- dp动态规划分类详解
- 自下向上的编写容易阅读的代码方法(下 )
- Thinkphp5集成阿里云短信
- muduo源码学习(13)-多线程与并发服务器设计
- Python 多线程 多进程 协程 yield
- 【STM32小案例 04 】STM32简单使用L298N电机驱动模块 控制直流电机正反转
- [生而为人-思考] 《自在力》读书笔记 + Python词频分析