java selenium firefox (图形界面)爬取页面数据
来源:互联网 发布:网络延长器是什么 编辑:程序博客网 时间:2024/05/21 17:21
获取网页指定内容信息,每次都通过手动打开网页进入指定页面,操作频繁却又不得不做。想着能否通过程序代替人工。
上网查了下相关资料,大致是selenium jar包对象使用(负责操作页面,获取页面内容),再这里记录一下,方便日后使用。
实现步骤:
1 安装好开发环境(firefox最新版本,只支持jdk1.8以上版本)
1.1 firefox安装:官网下载火狐浏览器,下载完后进行安装,安装地址使用系统默认
(C:\Program Files\Mozilla Firefox\firefox.exe)
1.2 java项目,使用jdk1.8进行开发。下载jdk1.8,配置好系统环境
1.3 下载selenium-firefox-driver-2.52.0.jar,引入java项目
2 编写调用网页驱动程序,进行网页点击,截图,内容获取等操作
2.1 加载火狐浏览器驱动
WebDriver driver = new FirefoxDriver(); // 默认安装地址,不需要指明路径
2.2 打开网页
driver.get("https://www.baidu.com");
2.3 获取网页内容
这套配置适用图形界面操作系统,用于本地调试开发使用。当服务器是命令行操作的系统时,推荐使用java + selenium + photomJS(无界面浏览器)WebElement ele = driver.findElements(By.id("idName")); // 获取页面id值为idName的元素
String htmlStr = ele.getAttribute("innerHTML"); // 获取元素内容
2.4 关闭浏览器
driver.quit();
- java selenium firefox (图形界面)爬取页面数据
- Selenium+PhantomJS 爬取页面
- python3实现爬取淘宝页面的商品的数据信息(selenium+pyquery+mongodb)
- 使用Selenium渲染页面并提取数据
- Selenium 爬取淘宝数据
- 用python+selenium+firefox爬取动态网页
- selenium模拟fireFox浏览器,爬取网页信息
- Java+selenium+firefox项目搭建(一)
- Java+selenium+firefox项目搭建(二)
- 【爬虫】python selenium 爬取数据
- python selenium 爬取淘宝商品数据
- 学习用java基于webMagic+selenium+phantomjs实现爬虫Demo爬取淘宝搜索页面
- java爬取页面
- 基于Python,Selenium和PhantomJS实现动态页面爬取
- Java selenium无界面爬取需要登录的页面+验证码截取+验证码识别python tensorflow
- Java-保存数据(IO和图形界面)
- Python使用Selenium爬取淘宝异步加载的数据
- 使用python+selenium+PantomJs+javascript爬取专利数据
- 圆点与Viewpager联动
- C++ 字符串字面值拼接
- [iOS] 网络之概述
- YTU.1911: 完美数
- k近邻算法
- java selenium firefox (图形界面)爬取页面数据
- 【第三周项目2】 建设“顺序表”算法库
- Python3:《机器学习实战》之Logistic回归(3)预测病马死亡率
- Entity Framework(一)基础
- Python的py文件打包成exe
- 我的积累
- 走在路上的一些感悟
- Mac使用apt-get
- Android Studio安装Plugins插件 重启后插件却保存不上