爬取糗事百科
来源:互联网 发布:emule kad网络 编辑:程序博客网 时间:2024/05/21 13:55
目标:1、抓取糗事百科热门段子。2、过滤带有图片的端子。3、实现每按依次回车显示一个段子的发布时间,发布人,段子内容,点赞数。(这个网站不需要登陆,不需要用到cookie)
1、确定URL抓取页面代码
http://www.qiushibaike.com/hot/page/1,其中最后一个数字代表页数。
-*-coding:utf-8-*-import urllibimport urllib2page = 1url = 'http://www.qiushibaike.com/hot/page/' + str(page)user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'headers = {'User-Agent' : user_agent}try: request = urllib2.Request(url,headers = headers) response = urllib2.urlopen(request) print response.read()except urllib2.URLError as e: if hasattr(e,'code'): print e.code if hasattr(e,'reason'): print e.reason
运行一下打印出第一页的HTML代码。
2、提取某一页的所有段子
import urllibimport urllib2import repage = 1url = 'http://www.qiushibaike.com/hot/page/' + str(page)user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'headers = {'User-Agent' : user_agent}request = urllib2.Request(url,headers = headers)response = urllib2.urlopen(request)content = response.read().decode('utf-8')pattern = re.compile('<div class="article block untagged mb15".*?<div class="author clearfix">.*?<h2>(.*?)</h2>.*?<div class="content">.*?<span>(.*?)</span>.*?<span class="stats-vote"><i.*?>(.*?)</i>.*?<span class="stats-comments">.*?<i.*?>(.*?)</i>.*?</span>',re.S)items = re.findall(pattern,content)for item in items: print item[0],'\n',item[1],'\n',item[2],'\n',item[3]
现在正则表达式在这里稍作说明
1).? 是一个固定的搭配,.和代表可以匹配任意无限多个字符,加上?表示使用非贪婪模式进行匹配,也就是我们会尽可能短地做匹配,以后我们还会大量用到 .*? 的搭配。
2)(.?)代表一个分组,在这个正则表达式中我们匹配了五个分组,在后面的遍历item中,item[0]就代表第一个(.?)所指代的内容,item[1]就代表第二个(.*?)所指代的内容,以此类推。
3)re.S 标志代表在匹配时为点任意匹配模式,点 . 也可以代表换行符。
这样我们就获取了发布人,发布内容,点赞数,评论数。
3、完善交互,设计面向对象
我们想要按一下回车,读取一个段子,显示段子发布人内容点赞书和评论数
最终代码如下:
#-*-coding:utf-8 -*-__author__ = 'wy'import urllib2import re#糗事百科爬虫类class QSBK: #初始化方法,定义一些变量 def __init__(self): self.pageIndex = 1 self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' #初始化headers self.headers = {'User-Agent':self.user_agent} #存放段子的变量,每一个元素是每一页的段子们 self.stories = [] #存放程序是否继续运行的变量 self.enable = False #传入某一页的索引获得页面代码 def getpage(self,pageIndex): try: url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex) #构建请求的request request = urllib2.Request(url,headers = self.headers) #利用urlopen获得页面代码 response = urllib2.urlopen(request) #将页面转化为utf-8编码 pageCode = response.read().decode('utf-8') return pageCode except urllib2.URLError as e: if hasattr(e,'reason'): print u"连接网页失败,错误原因:",e.reason return None #传入某一页代码,获得段子列表 def getPageItem(self,pageIndex): pageCode = self.getpage(pageIndex) if not pageCode: print"页面加载失败" return None pattern = re.compile('<div class="article block untagged mb15".*?<div class="author clearfix">.*?<h2>(.*?)</h2>.*?<div class="content">.*?<span>(.*?)</span>.*?<span class="stats-vote"><i.*?>(.*?)</i>.*?<span class="stats-comments">.*?<i.*?>(.*?)</i>.*?</span>', re.S) items = re.findall(pattern, pageCode) #用来储存每页的段子们 pageStories = [] for item in items: repalceBR = re.compile('<br/' '>') text = re.sub(repalceBR,'\n',item[1]) # item[0]是一个段子的发布者,item[1]是内容,item[2]是点赞数,item[3]是评论数 pageStories.append([item[0].strip(),text.strip(),item[2].strip(),item[3].strip()]) return pageStories #将加载提取的页面内容加入到列表 def loadPage(self): #如果当前未看的页数少于2页,则加载新一页 if self.enable == True: if len(self.stories)<2: #获取新一页 pageStories = self.getPageItem(self.pageIndex) #将该页的段子存放到全局list中 if pageStories: self.stories.append(pageStories) #获取完之后页码索引加一,表示下次读取下一页 self.pageIndex +=1 def getOneStory(self,pageStories,page): #遍历一页的段子 for story in pageStories: #等待用户输入 input = raw_input() #每当输入回车一次,判断一下是否要加载新页面 self.loadPage() #如果输入Q则程序结束 if input == "Q": self.enable = False return print u"第%d页\t发布人:%s\t赞:%s\t评论:%s\n%s" %(page,story[0],story[2],story[3],story[1]) # 开始方法 def start(self): print u"正在读取糗事百科,按回车查看新段子,Q退出" # 使变量为True,程序可以正常运行 self.enable = True # 先加载一页内容 self.loadPage() # 局部变量,控制当前读到了第几页 nowPage = 0 while self.enable: if len(self.stories) > 0: # 从全局list中获取一页的段子 pageStories = self.stories[0] # 当前读到的页数加一 nowPage += 1 # 将全局list中第一个元素删除,因为已经取出 del self.stories[0] # 输出该页的段子 self.getOneStory(pageStories, nowPage)spider = QSBK()spider.start()
结果如下:
0 0
- 爬取糗事百科
- 爬取糗事百科
- 爬取糗事百科
- 爬取糗事百科
- 爬取糗事百科
- PHP爬取糗事百科首页糗事
- [Python]爬取糗事百科
- 爬取糗事百科段子
- 简单爬取糗事百科
- 爬虫爬取糗事百科
- python 爬取糗事百科
- python爬取糗事百科
- 糗事百科段子爬取
- 爬取糗事百科数据
- python爬取糗事百科
- python3 爬取糗事百科
- python3糗事百科爬取
- 正则爬取糗事百科
- node下调试出现v8debug is not defined
- 使用idea创建gradle项目
- 那些求和求积求阶乘
- 网页嵌入百度地图和使用百度地图api自定义地图的详细步骤
- c++程序计时
- 爬取糗事百科
- android用Adapter实现ListView的初始化报错android.widget.LinearLayout cannot be cast to android.widget.TextView
- xib上控件不显示,或者为nil
- LINQ to DataSet的DataTable操作
- Cocos、Lua游戏内存释放之我见
- 1. 用U盘安装Centos6.5 + Win7 双系统
- 在storyboard中点击控件,右边状态栏显示 No Applicable
- 二叉查找树
- 关于ZIGBEE端点的一点理解