【python网络爬虫三】爬取动态数据及数据入库
来源:互联网 发布:修改 nginx的 变量 编辑:程序博客网 时间:2024/06/10 17:32
在平时,使用python爬取数据时,大多数都是动态的网站,今天采集了一个动态网站,使用基本的urllib.request()函数,获取不了想要的数据。这时候,就意识到了这样纸是不行滴。这样就引入了selenium...
1、selenium是什么?
selenium是web自动化测试工具集,测试直接在浏览器中,像是真正的用户在操作一样,支持的浏览器IE,chrome,FireFox等。我认为还是在于通过这种模拟浏览器的形式获取html,可以把js里的内容也获取到;而通过urllib方式模拟,获取不到里面的js、css代码,达不到全面抓取的效果(目前只使用这些,木有往深了研究)
2、selenium安装及如何支持浏览器?
(1) 因为本人是在windows下学习的python,所有只安装在windows下做了安装,在cmd中找到python目录,输入命令:
pip install -U selenium
(2)selenium是使用浏览器的驱动来操作浏览器上的元素的。默认selenium包含firefox浏览器的驱动,可以直接使用。要是在其他浏览器上使用需要手动安装驱动。
安装chrome浏览器驱动,下载chromedriver(根据自己的chrome的版本下载不同的chromedriver驱动),解压会得到chromedriver.exe,将chromedriver.exe放到安装的python目录下(c:\Python35)
3、selenium的缺点
selenium的缺点,selenium调用浏览器,跟我们手动打开浏览器效果是一样的,从开启到加载完毕需要好几秒时间,但是它就是辣么傲娇,加载不完后面的程序就不走,如果几秒没有啥问题,但是循环的话,这种效率就低的不要不要了。4、简单的demo
阅读全文
0 0
- 【python网络爬虫三】爬取动态数据及数据入库
- Python网络爬虫(三):连续爬取百度百科词条数据
- Python爬虫之爬取动态页面数据
- Python爬虫之爬取动态页面数据
- 利用python网络爬虫爬取赶集网数据
- Python爬虫 爬取Google Play 100万个App的数据,并入库到数据库 scrapy框架
- 【爬虫】python selenium 爬取数据
- Python爬虫爬取NBA数据
- Python requests爬虫爬取小说数据
- Python爬虫:如何爬取分页数据?
- python爬虫爬取网页表格数据
- python爬虫 爬取淘宝网页数据
- 【Python爬虫】东方财富数据爬取
- python爬虫爬取简单的动态数据-异步加载问题
- Python爬虫(一)--城市公交网络站点数据的爬取
- python从零开始写爬虫(5)-- 数据入库
- Python爬虫抓取动态数据
- C#网络爬虫(爬取表格数据)
- python对mysql的操作
- 结构体的初始化及访问
- 树莓派终端设置字体大小
- WPF-MVVM-ICommand接口实现
- Python 3.6 socket 简单远程命令CS
- 【python网络爬虫三】爬取动态数据及数据入库
- 英特尔全栈解决方案,助推人工智能在多领域的落地发展
- 大型网站架构之分布式消息队列
- Android studio 检测代码是否规范的工具
- GreenDao概要
- python CPU密集型对IO密集型 多进程更优于多线程 GIL
- 1-1 欢迎来的C++世界
- Android RecyclerView 详解(2)---网格布局(支持多种分割线)
- python django