[Python 爬虫之路1] 爬取糗事百科(requests,bs4)

来源:互联网 发布:shuttle mac 编辑:程序博客网 时间:2024/05/14 16:04

需要打开,收藏的网站:
糗事百科
bs4中文文档
requsts中文文档

# 目标:# 1.嗅事百科 24小时 中的段子# 2.过滤有图的段子# 4.每次点击回车则显示一条笑话,Q退出__author__ = 'XZ'# -*- coding:utf-8 -*-# 使得python支持中文import requestsfrom bs4 import BeautifulSoupclass QSBK:    # 初始化一些    def __init__(self):        self.page = 1        self.count = 1        self.jokes = []        self.getJokes(self.page)    # 获取某一页的页面代码    def getJokes(self,pageIdex):        url = 'http://www.qiushibaike.com/hot/page/' + str(pageIdex)  # str create a new str object from a given object        try:            response = requests.get(url).content            soup = BeautifulSoup(response, 'html.parser')  # 使用标准库的解析器            jokes = soup.findAll("div", class_="article block untagged mb15")  # 找到所有的内容            return jokes        except requests.HttpError as e:            print(e)            return None    # 从joke中显示各种信息    def printMsg(self,joke):        name = joke.find("div", class_='author clearfix').contents[3].text        cont = joke.find("a", class_='contentHerf').text        laught = joke.find("i", class_="number").text        print("用户名:"+name)        print("内容:"+cont)        print("点赞数:"+laught)    # 获取一条信息并显示    def getAjoke(self):        size = len(self.jokes)        if size < self.count: # 如果当前笑话已经是本页最后一个笑话            self.page+=1 # 更新为下一页            self.jokes = self.getJokes(self.page) # 获取下一页的笑话            self.count = 1 # 更新为当前页第一个笑话        # 显示当前笑话        self.printMsg(self.jokes[self.count])        self.count+=1 # 更新到下一个笑话    # 开始方法    def start(self):        print(u"正在读取糗事百科,点击回车显示新段子,Q退出")        while True:            i = input()            if i == 'Q'or i == 'q':                break            # 如果不是Q,则打印一条笑话            self.getAjoke()q = QSBK()q.start()

在此次实例中,着重于两个库基本使用的学习,并没有使用正则表达式,下次我会尝试用正则表达式完成

0 0
原创粉丝点击
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防,我是瞎子 手机液体膜碎了怎么办 车膜贴的太黑了怎么办 苹果7后壳氧化怎么办 苹果6s后盖氧化怎么办 苹果6s后壳氧化怎么办 食道癌吃了就吐怎么办 有眼袋和泪沟怎么办? 泪沟和眼袋都有怎么办 脸上的汗毛很长怎么办 点痣留下褐色印怎么办 氮氧传感器坏了怎么办 考试车离合太松怎么办 胎心监护不过关怎么办 羚羊角的功效与作用发烧怎么办 小孩上课注意力不集中怎么办 2岁宝宝不会说话怎么办 小孩脖子上长淋巴结怎么办 小孩子上课注意力不集中该怎么办 脸过敏干燥起皮怎么办 脸上皮肤干燥起皮怎么办 身上皮肤干燥起皮怎么办 皮肤暗黄有色斑怎么办 我皮肤干燥暗黄怎么办 脸上有皮肤暗黄怎么办 皮肤暗黄毛孔大怎么办 脸上很干燥起皮怎么办 脸上的皮肤起皮怎么办 身体的皮肤好干怎么办 滴油雾化器炸油怎么办 已经发炎的痘痘怎么办 被养生馆骗了怎么办 做完微针结痂了怎么办 秋季脸干燥起皮怎么办 身上的皮肤太干怎么办 板材眼镜腿松了怎么办 超声刀后喝酒了怎么办 开眼角疤痕增生了怎么办 开了眼角有增生怎么办 全切双眼皮留疤怎么办 开内眼角留疤了怎么办 开眼角长了颗粒怎么办