Web of Science爬虫实战(模拟浏览器)
来源:互联网 发布:中小学网络答题活动 编辑:程序博客网 时间:2024/06/05 21:52
Webof Science爬虫实战(模拟浏览器)
一.概述
本次爬虫主要通过论文的入藏号来检索出该论文,从而爬取该论文的被引量,近180天下载量以及全部下载量。这里使用的是Web of Scienece 核心合集,并且使用python的selenium库进行模拟浏览器的操做
二.网站及爬取策略分析
首先点击http://apps.webofknowledge.com/UA_GeneralSearch_input.do?product=UA&search_mode=GeneralSearch&SID=6EjTawX7GkX8XfiGarJ&preferencesSaved=这个链接进入相应页面。如下:
图1:检索页面
注意以上三块标红的地方要与我设置成一样,然后我随便输入个入藏号000370884200013,点击检索即可进入我们需要爬取的页面如下
图2.爬取页面
看到右侧用红框标出的页面鼠标移到上面右键检查即课打开该开发者页面,具体分析里面的html
三.安装相应的包
这边主要用到了selenium包,可以用pip来安装,pip install -U selenium。但是这里你可能还是不能用,你还需要chrome浏览器或者火狐等,我用了chrome。
有了这些之后你还需要chrome驱动器请到下面这个地址自行下载https://sites.google.com/a/chromium.org/chromedriver/downloads
但是主要下载后的驱动程序请放到你chrome的目录下(在我电脑上的路径是C:\Program Files(x86)\Google\Chrome\Application),或者配置到环境变量下(但是该方法我不知道为什么没成功)
四.爬虫代码
下面即是完整的python代码,你也可以点击https://github.com/jgzquanquan/Spyder_wos/blob/master/wos.py进入我的github查看
import refrom urllib import parseimport requestsfrom bs4 import BeautifulSoupimport bs4from lxml import etreefrom selenium import webdriverimport timedef geturl(Num): Str = "\""+Num+"\"" driver = webdriver.Chrome() url = 'http://apps.webofknowledge.com/WOS_GeneralSearch_input.do?product=WOS&SID=6FAEOvziD7rmWrbUJk6&search_mode=GeneralSearch' driver.get(url) driver.find_element_by_id("clearIcon1").click()#点击清除输入框内原有缓存地址 driver.find_element_by_id("value(input1)").send_keys(Num)#模拟在输入框输入入藏号 driver.find_element_by_id("WOS_GeneralSearch_input_form_sb").click()#模拟点击检索按钮 url1 = driver.current_url driver.close() return url1# 该函数用Requests库将网页爬取下来def getHTMLText(url): # 爬取网页的通用代码框架 try: kv = {'user-agent': 'Mozilla/5.0'}#该参数是设置用浏览器的形式访问网站 r = requests.get(url, headers=kv,timeout=30)#爬取网页生成response对象 r.raise_for_status() r.encoding = r.apparent_encoding#判断是否爬取成功 return r.text #返回爬虫的文本内容 except: return ""def html_parse(html,ID): if html is None: print("html count:", html) return try: tree = etree.HTML(html) cited = tree.xpath("//div[@class='search-results-data-cite']/a/text()")#解析页面获取被引量 download = tree.xpath(".//div[@class='alum_text']/span/text()")#解析页面获取下载量 print(cited,download) Str="" if len(cited)==0: Str = "0" + "," + download[0] + "," + download[1] else: Str = cited[0] + "," + download[0] + "," + download[1] return Str except: print(ID)def main(): uinfo=[] queryFile = open("wos1.txt", 'r', encoding='utf-8') for query in queryFile: fout = open('WosOutput.txt', 'a', encoding='utf-8') # 将输入文件中的每一行分割成导师姓名和学校 splitRes = query.split(',') if len(splitRes) != 3: print(query, ' 格式不正确') else: uinfo = [] ID = query.split(',')[0] Name = query.split(',')[1] Num = query.split(',')[2][4:-1] url = geturl(Num) html = getHTMLText(url) data = html_parse(html,ID) Str = str(ID)+","+str(Name)+","+str(Num)+","+str(data) print(Str) fout.write(Str+ '\n') fout.close() queryFile.close()main()
五.问题
用该种方式爬虫速度非常慢,如果数据量大的话请谨慎考虑。我用这种方法是走投无路,不过后来又发现新的方法,具体请看下一篇。
- Web of Science爬虫实战(模拟浏览器)
- Web of Science爬虫实战(Post方法)
- science of web
- [Java爬虫HttpClient_Demo2模拟浏览器并抓取Web图片]
- php爬虫模拟浏览器,ini_set()用法
- endnote 出现无法连接web of science
- 学习使用web of science查找文献
- WOS(Web of Science)检索规则
- WOS(Web of Science)检索规则
- 爬虫实战:爬虫之 web 自动化终极杀手 ( 上)
- 《python爬虫实战》:模拟登陆
- python3实现网络爬虫(5)--模拟浏览器抓取网页
- 如何使用HIstCite分析Web of Science数据库的文献
- 第三次爬虫实战--模拟登录Freelancer
- 考虑模拟浏览器的爬虫设计
- Scrapy爬虫:模拟浏览器和使用代理
- python爬虫2之简单模拟浏览器
- python urllib2模拟浏览器请求 爬虫
- KMP算法详解[自己觉得有价值的]
- python基础(04)——函数
- C语言
- 网络测试工具--Iperf、MZ
- 数据结构总结之队列
- Web of Science爬虫实战(模拟浏览器)
- 树莓派引脚相对位置示意图
- 瞎写点什么
- 【WebGL】茶壶和光照
- uva10142
- android的动画
- Unity 脚本接口值Path
- struts2框架搭建
- Scikit-learn——Naive Bayes