Python爬虫学习,实战一糗事百科(2017/7/21更新)
来源:互联网 发布:国家统计局2016年数据 编辑:程序博客网 时间:2024/06/12 01:42
前言
这几天学习爬虫,网上看了一些教程,发现这个 http://cuiqingcai.com/990.html 是相当不错的。但可惜的是,整个教程是两年前的,但是Python是2.x版本的,跟现在的3.x有一些基本的语法不同;还有糗事百科也经过了改版。总之原来的爬虫程序已经无法运行了。借此学习机会,我更新一下这篇文章。
目标进程
- 本身初学python,暂时用着python2,完成这次爬虫实验
- 文章顺序按照原文章进行
- 分析原代码构成,并进行修改以适应现在的糗事
- 最后改成Python3(未完成)
1.确定URL并页面代码
现在的糗百URL为https://www.qiushibaike.com(热门板块) ,当然你可以进去到https://www.qiushibaike.com/hot/(24小时板块)
我们还是以热门板块来做,刷了几页过后发现,他是这样的: https://www.qiushibaike.com/8hr/page/5/?s=5001478,后面一堆玩意儿看不懂,不过试了试https://www.qiushibaike.com/8hr/page/4,也是没问题,那么我们的URL就可以出来了
结合原文中的代码,我们这么写:
# -*- coding:utf-8 -*-import urllibimport urllib2page = 1url = 'https://www.qiushibaike.com/8hr/page/' + str(page)user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'headers = { 'User-Agent' : user_agent }try: request = urllib2.Request(url,headers = headers) response = urllib2.urlopen(request) print response.read()except urllib2.URLError, e: if hasattr(e,"code"): print e.code if hasattr(e,"reason"): print e.reason
2.关于headers验证
这个headers是用来判断网站访问这是否是通过浏览器访问的。网上关于怎么查找headers很齐全。
这里以chrome为例:
- 在网页任意地方右击选择审查元素或者按下 shift+ctrl+c打开chrome自带的调试工具;
- 选择network标签,刷新网页(在打开调试工具的情况下刷新);
- 刷新后在左边查找该网页url(网址),点击
- 后右边选择headers,就可以看到当前网页的http头了;
- 我们用的自然是Request Headers
3.解码,正则表达式分析
解码:
利用2的代码我们可以抓取到网页的代码,但看上去似乎是一堆乱码,这个时候我们只需要将原始的读取稍微转化一下response.read()变成response.read().decode('utf-8')
正则表达式
我们先来看原代码和原页面
content = response.read().decode('utf-8')pattern = re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+ 'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)items = re.findall(pattern,content)for item in items: print item[0],item[1],item[2],item[3],item[4]
现在正则表达式在这里稍作说明
1).*?
是一个固定的搭配,.和*代表可以匹配任意无限多个字符,加上?表示使用非贪婪模式进行匹配,也就是我们会尽可能短地做匹配,以后我们还会大量用到
.*? 的搭配。2)(.?)代表一个分组,在这个正则表达式中我们匹配了五个分组,在后面的遍历item中,item[0]就代表第一个(.?)所指代的内容,item[1]就代表第二个(.*?)所指代的内容,以此类推。
3)re.S 标志代表在匹配时为点任意匹配模式,点 . 也可以代表换行符。
这组样例没有图片:
分析(不考虑”+换行的问题)
pattern = re.compile( '<div.*?author">.*? <a.*? <img.*?>(.*?)</a>.*?//发布人 <div.*?'+'content">(.*?)//内容 <!--(.*?)-->.*?//时间 </div>(.*?)<div class="stats.*?//图片内容 class="number">(.*?)</i>'#点赞数 ,re.S)
糗百改版:
发布人:
- 从div class=”author”到div class=”author clearfix”
- 原来只有一个发布人的href,img后紧跟名字; 现在有两个,名字在第二个中的正文里
内容:没有改变
时间:已经删去此功能
图片:没有修改,在内容和点赞之间的thumb里
点赞数:没有修改
修改完成后的总代码是和效果图
import urllibimport urllib2import repage = 1url = 'http://www.qiushibaike.com/hot/page/' + str(page)user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'headers = { 'User-Agent' : user_agent }try: request = urllib2.Request(url,headers = headers) response = urllib2.urlopen(request) content = response.read().decode('utf-8') pattern = re.compile('<div.*?author clearfix">.*?</a>.*?>(.*?)</a>.*?'+ '<div.*?content">.*?<span>(.*?)</span>(.*?)'+ '<div class="stats.*?class="number">(.*?)</i>',re.S) items = re.findall(pattern,content) for item in items: haveImg = re.search("img",item[2]) if not haveImg: print "发布人: ",item[0],"内容:",item[1],"\n点赞数:",item[3]+'\n'except urllib2.URLError, e: if hasattr(e,"code"): print e.code if hasattr(e,"reason"): print e.reason
4.完善交互,设计面向对象模式
照着源代码,稍微改改吧
import urllibimport urllib2import reimport threadimport timeclass QSBK: #初始化方法,定义一些变量 def __init__(self): self.pageIndex = 1 self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' #初始化headers self.headers = { 'User-Agent' : self.user_agent } #存放段子的变量,每一个元素是每一页的段子们 self.stories = [] #存放程序是否继续运行的变量 self.enable = False #传入某一页的索引获得页面代码 def getPage(self,pageIndex): try: url = 'https://www.qiushibaike.com/8hr/page/' + str(pageIndex) #构建请求的request request = urllib2.Request(url,headers = self.headers) #利用urlopen获取页面代码 response = urllib2.urlopen(request) #将页面转化为UTF-8编码 pageCode = response.read().decode('utf-8') return pageCode except urllib2.URLError, e: if hasattr(e,"reason"): print u"连接糗事百科失败,错误原因",e.reason return None #传入某一页代码,返回本页不带图片的段子列表 def getPageItems(self,pageIndex): pageCode = self.getPage(pageIndex) if not pageCode: print "页面加载失败...." return None pattern = re.compile('<div.*?author clearfix">.*?</a>.*?>(.*?)</a>.*?'+ '<div.*?content">.*?<span>(.*?)</span>(.*?)'+ '<div class="stats.*?class="number">(.*?)</i>',re.S) items = re.findall(pattern,pageCode) #用来存储每页的段子们 pageStories = [] #遍历正则表达式匹配的信息 for item in items: #是否含有图片 haveImg = re.search("img",item[3]) #如果不含有图片,把它加入list中 if not haveImg: replaceBR = re.compile('<br/>') text = re.sub(replaceBR,"\n",item[1]) #item[0]是一个段子的发布者,item[1]是内容,item[3]是点赞数 pageStories.append([item[0].strip(),text.strip(),item[3].strip()]) return pageStories #加载并提取页面的内容,加入到列表中 def loadPage(self): #如果当前未看的页数少于2页,则加载新一页 if self.enable == True: if len(self.stories) < 2: #获取新一页 pageStories = self.getPageItems(self.pageIndex) #将该页的段子存放到全局list中 if pageStories: self.stories.append(pageStories) #获取完之后页码索引加一,表示下次读取下一页 self.pageIndex += 1 #调用该方法,每次敲回车打印输出一个段子 def getOneStory(self,pageStories,page): #遍历一页的段子 for story in pageStories: #等待用户输入 input = raw_input() #每当输入回车一次,判断一下是否要加载新页面 self.loadPage() #如果输入Q则程序结束 if input == "Q": self.enable = False return print u"第%d页\t发布人:%s\t赞:%s\n%s\n" %(page,story[0],story[2],story[1]) #开始方法 def start(self): print u"正在读取糗事百科,按回车查看新段子,Q退出" #使变量为True,程序可以正常运行 self.enable = True #先加载一页内容 self.loadPage() #局部变量,控制当前读到了第几页 nowPage = 0 while self.enable: if len(self.stories)>0: #从全局list中获取一页的段子 pageStories = self.stories[0] #当前读到的页数加一 nowPage += 1 #将全局list中第一个元素删除,因为已经取出 del self.stories[0] #输出该页的段子 self.getOneStory(pageStories,nowPage)spider = QSBK()spider.start()
阅读全文
0 0
- Python爬虫学习,实战一糗事百科(2017/7/21更新)
- python爬虫入门 实战(一)---爬糗事百科
- Python爬虫实战:糗事百科
- Python爬虫实战一之爬取糗事百科段子
- Python爬虫实战一之爬取糗事百科段子
- Python爬虫实战一之爬取糗事百科段子
- Python爬虫实战一之爬取糗事百科段子
- Python爬虫实战一之爬取糗事百科段子
- Python爬虫实战一之爬取糗事百科段子
- Python爬虫实战(1):爬取糗事百科段子
- Python爬虫实战(1):爬取糗事百科段子
- python爬虫实战-糗事百科(最新版亲测好用)
- Python 爬虫实战 - 糗事百科段子
- Python爬虫实战之爬糗事百科
- 爬虫实战--糗事百科
- Python爬虫(一)——爬取糗事百科
- python爬虫(一)爬取糗事百科
- python爬虫糗事百科
- Oracle_SQL 基础知识
- Xshell学习--菜鸟篇
- Linux如何挂载网络硬盘
- 基于vue2写的上拉加载
- SVN VISUALSVN 排除不想更新的目录或文件 DEBUG
- Python爬虫学习,实战一糗事百科(2017/7/21更新)
- 【Tensorflow】用tersorflow内置函数做图片预处理
- 每天一个linux命令(1):ls命令
- oc统计数组相同元素的个数,以及数组排序
- 任意进制的数值转换 C++版
- Quartz定时任务corn表达式解析
- 2017年澳洲建筑师协会奖入围作品:办公空间
- 学习笔记
- 使用sharedPreferences实现密码登录和注册用户名重复检查