python使用selenium爬取InCites中journal数据
来源:互联网 发布:怎么更改网络节点 编辑:程序博客网 时间:2024/05/22 12:08
- selenium的基本使用方法:
感谢博主静觅的文章,里面有详细的python中selenium的用法。需要提醒的是implicitly_wait()的用法:设置的隐性等待时间是适用全局的,因此值不宜设置太大,会严重拖慢爬虫程序的速度。
- 关于selenium实践时的二三问题:
- 关于selenium实践时的二三问题:
任务目标是爬取每一年的每个分类的journal数据,因此就有两个重要的列表需要爬取,年份列表和分类列表。
2.1 时间列表的定位
虽然列表用find_elements方法很容易获取到一个大列表,但是这种操作的弊端在与很容易遇到在遍历时某个元素不在DOM资源中的异常。这里给出的解决方法是用Xpath每次定位到具体的某个元素,而不是获取列表来进行遍历。
2.2 分类列表的定位
分类列表的获取我在实验时发现一个很神奇的现象,在程序中第一次获取的时候是一个长度为227的列表,经过一番操作之后列表长度居然变化了,变...化...了...,必须经历了一些操作才会变化,并且重新刷新也没有办法改正。不仅大小变化了,列表的顺序也有所不同。由于对网页了解程度不够,因此没有分析出到底原因在哪里。但是解决方法还是有的。第一获取的长为227的列表应该是全面的,因此抽取出所有目录的名称,存在一个列表里面。通过每一个列表的遍历来依次选中每一个分类。那要怎么根据字符串去定位这个元素呢?
如图,名称列表记录的是里面分类的简称,也就是里面name和value的值,通过cssselector就能够确定。具体代码为
driver.find_element_css_selector("input[value=\"%s\"]"%categoriesList[i])对应例子中categoriesList[i]的值为CN。
可能通过这种方法还是有特定的分类就是定位不到,这个时候需要进行异常处理,将它写入一个error文件里面记录下来,等程序运行完之后再进一步处理。或者再程序末端加上相关处理的代码。虽然运行时的确会遇到这样的问题,但是刷新或者重新获取页面之后这种问题就解决了。异常处理可以大大增加爬虫程序的鲁棒性。关于异常处理部分感谢博主汪海的实验室的文章。
2.3 关于判定是否有数据
在网站中有的分类对应有的年份的数据是缺失的。由于对数据的获取是直接点击网站提供的下载按钮,因此需要在操作下载按钮之前确定是否存在数据,以免导致网站弹窗错误窗口。当没有数据时网站会显示响应的提示只要在一定时间内看是否出现该提示即可。对于这种情况需要使用WebDriverWait()等待一个较短时间即可。如果没有使用的话就会等待implicitly_wait()中的时间,导致爬虫效率降低。这个问题也可以通过弹窗处理来解决。笔者采用最简单的解决方法,但是时间效率上低了一些。
- 关于源码:
# -*- coding: cp936 -*-from selenium import webdriver;from selenium.webdriver.common.by import By;from selenium.webdriver.support.ui import WebDriverWait#from selenium.webdriver.common.exceptions import TimeOutExceptionfrom selenium.webdriver.support import expected_conditions as ECimport time;import sysreload(sys)sys.setdefaultencoding('utf-8');##对自动下载文件进行设置##fp=webdriver.FirefoxProfile();fp.set_preference("browser.download.folderList",2);#设置参数2为指定路径,设置Firefox的默认 下载 文件夹。0是桌面;1是“我的下载”;2是自定义。fp.set_preference("browser.download.dir","C:\\Users\\YonghaoFu\\Desktop\\data4");#设置数据存放的位置fp.set_preference("browser.helperApps.neverAsk.saveToDisk", "application/octet-stream, application/vnd.ms-excel, text/csv, application/zip"); #设置可下载文件的类型fp.set_preference("browser.download.manager.showWhenStarting",False);driver = webdriver.Firefox(fp);driver.get("https://jcr.incites.thomsonreuters.com/");driver.implicitly_wait(3);########def get_cate_ele(num): ele_cates=driver.find_elements_by_id("id"); return ele_cates[num];#######获取年份的个数##WebDriverWait(driver,30).until(lambda driver: driver.find_element_by_id("ext-gen1097")).click();ele_years=driver.find_elements_by_css_selector("li[role=\"option\"]");times=3;while times>0 and len(ele_years) != 20: ele_years=driver.find_elements_by_css_selector("li[role=\"option\"]"); times=times-1; time.sleep(3);if times==0: print "can't select the year!!";year_list=[];error_list=[];time.sleep(10);year_num=len(ele_years);for k in range(0,year_num): ele_years=driver.find_elements_by_css_selector("li[role=\"option\"]"); year_list.append(ele_years[k].text);WebDriverWait(driver,30).until(lambda driver: driver.find_element_by_id("ext-gen1097")).click();#######获取分类的个数#####driver.find_element_by_css_selector("i[class=\"checkbox-categories icon icon-arrow-blue\"]").click();cates=driver.find_elements_by_id("id")cate_num=len(cates);cate_list=[];for each in cates: cate_list.append(each.find_element_by_tag_name("span").get_attribute("id"));print cate_list;#driver.find_element_by_css_selector("i[class=\"checkbox-categories icon icon-arrow-blue\"]").click();####开始进行循环操作#####print cate_num,year_numflag=1;for i in range(0,cate_num): driver.find_element_by_css_selector("a[href=\"javascript:catClear()\"]").click();#下一次选择cate前进行清空操作 try: WebDriverWait(driver,30).until(EC.element_to_be_clickable((By.CSS_SELECTOR,"input[value=\"%s\"]"%cate_list[i]))).click(); except: error_list.append(cate_list[i]); continue; for j in range(0,year_num):###进行循环操作 driver.find_element_by_id("ext-gen1097").click();#打开年份列表 ele_year=WebDriverWait(driver,20).until(lambda driver: driver.find_element_by_xpath("//ul[@class='x-list-plain']/li[%s]"%str(j+1))); print ele_year.text; WebDriverWait(driver,30).until(EC.visibility_of(ele_year)).click();#选中第几年 driver.find_element_by_css_selector("a[href=\"javascript:catSubmit()\"]").click();#提交数据进行刷新 if(len(driver.find_element_by_class_name("content-body").find_elements_by_class_name("x-grid-empty"))==0): driver.find_element_by_id("gridcolumn-1028-titleEl").click();#全选操作 driver.find_element_by_css_selector("a[title=\"Download\"]").click();#点击下载按钮 time.sleep(1); driver.find_elements_by_class_name("popup-action-content")[1].find_element_by_css_selector("li[onclick=\"exportCSV()\"]").click();#开始下载数据f=open("C:\\Users\\YonghaoFu\\Desktop\\errorList",'w');for error in error_list: f.write(error+"\n");f.close();
# -*- coding: cp936 -*-from selenium import webdriver;from selenium.webdriver.common.by import By;from selenium.webdriver.support.ui import WebDriverWait#from selenium.webdriver.common.exceptions import TimeOutExceptionfrom selenium.webdriver.support import expected_conditions as ECimport time;import sysreload(sys)sys.setdefaultencoding('utf-8');##对自动下载文件进行设置##fp=webdriver.FirefoxProfile();fp.set_preference("browser.download.folderList",2);#设置参数2为指定路径,设置Firefox的默认 下载 文件夹。0是桌面;1是“我的下载”;2是自定义。fp.set_preference("browser.download.dir","C:\\Users\\YonghaoFu\\Desktop\\data4");#设置数据存放的位置fp.set_preference("browser.helperApps.neverAsk.saveToDisk", "application/octet-stream, application/vnd.ms-excel, text/csv, application/zip"); #设置可下载文件的类型fp.set_preference("browser.download.manager.showWhenStarting",False);driver = webdriver.Firefox(fp);driver.get("https://jcr.incites.thomsonreuters.com/");driver.implicitly_wait(3);########def get_cate_ele(num): ele_cates=driver.find_elements_by_id("id"); return ele_cates[num];#######获取年份的个数##WebDriverWait(driver,30).until(lambda driver: driver.find_element_by_id("ext-gen1097")).click();ele_years=driver.find_elements_by_css_selector("li[role=\"option\"]");times=3;while times>0 and len(ele_years) != 20: ele_years=driver.find_elements_by_css_selector("li[role=\"option\"]"); times=times-1; time.sleep(3);if times==0: print "can't select the year!!";year_list=[];error_list=[];time.sleep(10);year_num=len(ele_years);for k in range(0,year_num): ele_years=driver.find_elements_by_css_selector("li[role=\"option\"]"); year_list.append(ele_years[k].text);WebDriverWait(driver,30).until(lambda driver: driver.find_element_by_id("ext-gen1097")).click();#######获取分类的个数#####driver.find_element_by_css_selector("i[class=\"checkbox-categories icon icon-arrow-blue\"]").click();cates=driver.find_elements_by_id("id")cate_num=len(cates);cate_list=[];for each in cates: cate_list.append(each.find_element_by_tag_name("span").get_attribute("id"));print cate_list;#driver.find_element_by_css_selector("i[class=\"checkbox-categories icon icon-arrow-blue\"]").click();####开始进行循环操作#####print cate_num,year_numflag=1;for i in range(0,cate_num): driver.find_element_by_css_selector("a[href=\"javascript:catClear()\"]").click();#下一次选择cate前进行清空操作 try: WebDriverWait(driver,30).until(EC.element_to_be_clickable((By.CSS_SELECTOR,"input[value=\"%s\"]"%cate_list[i]))).click(); except: error_list.append(cate_list[i]); continue; for j in range(0,year_num):###进行循环操作 driver.find_element_by_id("ext-gen1097").click();#打开年份列表 ele_year=WebDriverWait(driver,20).until(lambda driver: driver.find_element_by_xpath("//ul[@class='x-list-plain']/li[%s]"%str(j+1))); print ele_year.text; WebDriverWait(driver,30).until(EC.visibility_of(ele_year)).click();#选中第几年 driver.find_element_by_css_selector("a[href=\"javascript:catSubmit()\"]").click();#提交数据进行刷新 if(len(driver.find_element_by_class_name("content-body").find_elements_by_class_name("x-grid-empty"))==0): driver.find_element_by_id("gridcolumn-1028-titleEl").click();#全选操作 driver.find_element_by_css_selector("a[title=\"Download\"]").click();#点击下载按钮 time.sleep(1); driver.find_elements_by_class_name("popup-action-content")[1].find_element_by_css_selector("li[onclick=\"exportCSV()\"]").click();#开始下载数据f=open("C:\\Users\\YonghaoFu\\Desktop\\errorList",'w');for error in error_list: f.write(error+"\n");f.close();
阅读全文
0 0
- python使用selenium爬取InCites中journal数据
- Python使用Selenium爬取淘宝异步加载的数据
- 使用python+selenium+PantomJs+javascript爬取专利数据
- 【爬虫】python selenium 爬取数据
- python selenium 爬取淘宝商品数据
- 使用python + selenium爬取淘宝商品信息
- python selenium+beautifulSoup爬取彩票网数据
- Selenium 爬取淘宝数据
- 使用python+selenium爬取学生信息并入库
- python 使用selenium+urllib爬取淘宝MM照片
- Python爬取淘宝搜索页,使用Selenium+BeautifulSoup
- python中使用selenium
- 使用Selenium渲染页面并提取数据
- 使用selenium动态爬取
- python +selenium 爬取淘宝网商品信息
- Python爬虫-Selenium爬取淘宝美食
- python+selenium批量爬取ieeexplore论文
- Selenium学习三——利用Python爬取网页表格数据并存到excel
- 分享CISSP CBT考试经验
- 经典排序算法归纳笔记
- 讯飞声纹识别(简单基础)
- Richard Feynman, 挑战者号, 软件工程
- java基础语法(一)
- python使用selenium爬取InCites中journal数据
- [后端][php]获取文章正文的第1张图片
- calendarview 日历控件
- 浅谈SAP CRM开发——技术概念、与ECC 系列产品区别
- Asp.Net Core-Authorize 特性
- 线程的随机性之实现Thread类
- Spire.Doc 教程:在word文档中创建书签
- 文件上传按钮(适配所有浏览器)
- 第六十篇:commons-beanutils使用介绍