Selenium+Chrome(PhantomJs) Python爬虫

Ubuntu上搭建Selenium+Chrome

Selenium的搭建：直接通过Pip进行安装

sudo pip install selenium

Chrome浏览器需要安装ChromeDriver驱动来做web的自动化处理。

1.首先需要根据需要安装Chrome浏览器，根据浏览器的版本信息，下载对应的chromedrver。浏览器的版本信息在setting中about chrome可以查询。

http://chromedriver.storage.googleapis.com/index.html

通过此网站下载对应浏览器版本的chromedriver，版本对应关系在note.txt可以查询。

安装chromedriver的步骤：

1.解压对应的chromedriver

unzip chromedriver_linux64.zip

2.讲解压好的文件移到/usr/bin/文件内

cp chromedriver /usr/bin

3.测试安装是否成功可以编写以下代码进行测试：

PhantomJs的安装

sudo apt-get install phantonjsphantomjs --version  检查是否安装成功

from selenium import webdriverbroswer = webdriver.PhantomJS()

由此即开启了通过Selenium+PhantomJS这种无头浏览器爬虫的开端。

下一篇将介绍Selenium的一系列操作