使用selenium模块模拟浏览器爬去网页,并进行点击定位内容笔记
来源:互联网 发布:access数据录入窗体 编辑:程序博客网 时间:2024/05/18 19:36
针对模拟浏览器采用。
webdriver.Firefox()火狐浏览器模拟
Windows系统解决办法如下:
1、下载geckodriver.exe:下载地址:https://github.com/mozilla/geckodriver/releases
请根据系统版本选择下载;(如Windows 64位系统)
2、下载解压后将getckodriver.exe复制到Firefox的安装目录下,如(C:\Program Files\Mozilla Firefox),并在环境变量Path中添加路径:C:\Program Files\Mozilla Firefox;
3.重启cmd或IDLE再次运行代码即可
ubuntu16.04环境下 解决方法:
1、下载 geckodriverckod 地址: https://github.com/mozilla/geckodriver/releases
2、解压后将geckodriverckod 存放至 /usr/local/bin/ 路径下即
注:还没测试
二、点击定位
往往网页是异步加载形式,在url中没有体现,需要对页面上的元素进行点击,以执行下一步
对应于webdriver中的定位方法分别是:
- driver.find_element_by_name()——最常用,简单
- driver.find_element_by_id()——最常用,简单
- driver.find_element_by_class_name()
- driver.find_element_by_tag_name()——最不靠谱
- driver.find_element_by_link_text()——定位文字连接好用
- driver.find_element_by_partial_link_text()——定位文字连接好用
- driver.find_element_by_xpath()——最灵活,万能
- driver.find_element_by_css_selector()
三、选择对应位置,并对页面进行操作
- clear 清除元素的内容,如果可以的话
- send_keys 在元素上模拟按键输入
- click 单击元素
- submit 提交表单
阅读全文
1 0
- 使用selenium模块模拟浏览器爬去网页,并进行点击定位内容笔记
- Selenium学习笔记1--选择浏览器,定位网页
- selenium--unittest定位元素内容为空时模拟鼠标点击的方法
- 使用python利器selenium工具模拟浏览器运行并爬取淘宝商品信息
- selenium模拟fireFox浏览器,爬取网页信息
- 使用selenium抓取网页内容
- 使用HtmlUnit模拟浏览器执行JS来获取网页内容
- python模拟浏览器打开百度首页并登录或者点击首页新闻并保存网页
- selenium 网页元素定位方法学习笔记
- 使用selenium webdriver进行元素定位
- 使用scrollIntoView()进行内容定位
- 使用Selenium操作JavaScript进行点击
- webmagic+selenium模拟浏览器启动(动态网页爬取方法之一的第一步)
- selenium模拟浏览器爬人民网微博
- Selenium 模拟浏览器
- 使用HTTPURLConnection模拟登陆,爬取网页内容
- 使用HTTPURLConnection模拟登陆,爬取网页内容
- 【selenium学习笔记】webdriver进行页面元素定位
- SQL利用Case When Then多条件判断
- Ubuntu16 压缩解压文件命令
- pandas read_csv 读取中文列标题文件报错
- MOS管入门----只谈应用,不谈原理
- 机器学习笔记十三 朴素贝叶斯
- 使用selenium模块模拟浏览器爬去网页,并进行点击定位内容笔记
- (三)MAMP的安装及使用
- 高仿网易严选底部弹出菜单
- C语言实现简单UDP协议服务端
- 阿里巴巴开源DataSource项目-Druid
- 实现ListView的下拉刷新和上拉加载
- 机器学习笔记十四 朴素贝叶斯实例
- linux I/O状态实时监控iostat
- 四种方法解析XML文档:Dom、SAX、JDOM、dom4j