selenium的进阶1

来源：互联网发布：轻量级linux安装详解编辑：程序博客网时间：2024/06/07 12:51

# -*- coding: utf-8 -*-"""Created on Sat Oct 22 18:14:07 2016@author: alis"""from selenium import webdriverimport time,urllib2from bs4 import BeautifulSoupbrowser = webdriver.Firefox()#设置浏览器窗口的位置和大小browser.set_window_position(20, 40)browser.set_window_size(1100,700)browser.get('http://portal.gd-n-tax.gov.cn/pub/gzsgsww/bsfw/nszx/rdwt/')       #打开网站time.sleep(2)             #缓冲2秒###---------------------------examplesoup = BeautifulSoup(browser.page_source,'lxml')       # 使用beautifulsoup库解析网址a = etree.HTML(browser.page_source)                               #使用lxml库解析网站for i in a.xpath('//div[@class="newslist"]//@href'):          j = 'http://portal.gd-n-tax.gov.cn/pub/gzsgsww/bsfw/nszx/rdwt'+i[1::]    browser.get(j)    time.sleep(2)    Html = etree.HTML(browser.page_source)    print Html.xpath('//div[@class="contenttitle"]//text()')print browser.title#通过get方法获取当前URL打印url = 'http://www.baidu.com'print "now access %s" %(url)browser.get(url)

0 0