爬虫学习--基于selenium动态抓捕(一)安装

来源:互联网 发布:市场上主流单片机 编辑:程序博客网 时间:2024/06/06 10:42

selenium是什么呢?Selenium[1]  是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。它支持各种浏览器,包括 Chrome,Safari,Firefox 等主流界面式浏览器 源自百度百科

这个工具非常好用,可以帮助我们去模拟浏览器,把这个运用到爬虫,就可以近似人为操作一样,并且爬到动态的信息。比如一些淘宝的评论,不是静态网页的,那么可以用这种工具。

但是这个工具配置比较麻烦。确实花了笔者不少功夫。

1.先把需要的工具下好。

python2.7 (这里笔者也不明白 为什么Anaconda不把selenium纳入)pip工具

用pip工具下载selenium

pip install selenium
然后下载对应浏览器的驱动 

http://docs.seleniumhq.org/download/

firfox 在这里

https://github.com/mozilla/geckodriver/releases

这里有版本要求的 



浏览器版本 55.0 selenium版本3.5

千万不要搞错了

下载好驱动解压到浏览器所在文件夹目录下  复制好路径到环境变量path  重要的话强调

是path  

也把浏览器的.exe文件的路径复制到环境变量path 

把驱动文件拷贝一份 放在你 python2.7的目录下