python爬虫：从百度贴吧中爬数据

使用的python包

1 from bs4 import Beautifuls 一个十分好用的网页提取的工具包
2 import requests 用于发送各种html请求
3 import re 用编写各种正则语句

分析网页结构

我们所抓取的是百度贴吧的帖子，https://tieba.baidu.com/p/5227503742?see_lz=1&pn=1为书荒吧的一个帖子，其前面部分http://tieba.baidu.com/p/3138733512为网页地址，数字为帖子的标识符。问号?后的为参数，经斜体文本过测试可以猜测出see_lz为是否只看楼主，pn为页数
打开网页，F12后可以看到网页的结构，具体的是要找到我们想要部分的结构，如下：

使用requests获得页面

使用requests发送get请求，得到网页：

    def get_page(self,page_num):        url = self.base_url+'?see_lz=%s&pn=%s'%(self.see_lz,page_num)        try:            page = requests.get(url).text            return page        except requests.RequestException as e:            if hasattr(e,'reason'):                print('无法连接：%s'%e)            return None

得到网页中想要的内容

通过分析网页结构，定位到想要的块，使用beautifulsoup的find，findAll方法匹配快的名称，class，id等信息，具体的使用可以查看beautifulsoup文档

    def get_info(self):        page = self.get_page(1)        soup = BeautifulSoup(page,'lxml')        self.page_num = soup.find('li',class_='l_reply_num').findAll('span')[1].string        self.page_num = int(self.page_num)        self.title = soup.find('h3',class_=re.compile('core_title_txt.*?')).string

定义一个过滤网页不需要信息的类

通过各种正则语句来定位信息，然后对定位的数据进行处理。使用re.compile()生成正则表达式，使用re.sub()函数对正则表达式匹配到的字符串进行替换。更多的正则使用方法见正则表达式语法

class Filter:    ##去除图片    remove_img =  re.compile('<br/><img.*?>')    ##去除超链接    remove_link = re.compile('<a.*?>|</a>')    ##将制表符td换成\n    replace_td = re.compile('<td>')    ##将换行符br换成\n    replace_br = re.compile('<br/>')    ##将其他标签替换为空    remove_tag = re.compile('<.*?>')    def filter(self,x):        x = re.sub(self.remove_img,'',x)        x = re.sub(self.remove_link,'',x)        x = re.sub(self.replace_td,'\n',x)        x = re.sub(self.replace_br,'\n',x)        x = re.sub(self.remove_tag,'',x)        return x.strip() 

最终的python代码如下

#coding=utf-8from bs4 import BeautifulSoupimport requestsimport reclass Filter:    ##去除图片    remove_img =  re.compile('<br/><img.*?>')    ##去除超链接    remove_link = re.compile('<a.*?>|</a>')    ##将制表符td换成\n    replace_td = re.compile('<td>')    ##将换行符br换成\n    replace_br = re.compile('<br/>')    ##将其他标签替换为空    remove_tag = re.compile('<.*?>')    def filter(self,x):        x = re.sub(self.remove_img,'',x)        x = re.sub(self.remove_link,'',x)        x = re.sub(self.replace_td,'\n',x)        x = re.sub(self.replace_br,'\n',x)        x = re.sub(self.remove_tag,'',x)        return x.strip() class Spider:    def __init__(self,base_url,see_lz,txt_path):        self.base_url = base_url        self.see_lz = see_lz        self.page_num = 0        self.title = ''        self.m_filter = Filter()        self.txt_path = txt_path        self.floor = 0    def get_page(self,page_num):        url = self.base_url+'?see_lz=%s&pn=%s'%(self.see_lz,page_num)        try:            page = requests.get(url).text            return page        except requests.RequestException as e:            if hasattr(e,'reason'):                print('无法连接：%s'%e)            return None    def get_info(self):        page = self.get_page(1)        soup = BeautifulSoup(page,'lxml')        self.page_num = soup.find('li',class_='l_reply_num').findAll('span')[1].string        self.page_num = int(self.page_num)        self.title = soup.find('h3',class_=re.compile('core_title_txt.*?')).string    def get_content(self):        self.get_info()        print('开始写文件（总共%s页）：'%self.page_num)        file = open(self.txt_path,'w',encoding='utf-8')        file.write('----------------<< %s >>-------------\n\n\n'%(self.title))        for i in range(self.page_num):            print('第%s页内容写入。。。'%(i+1))            page = self.get_page(i+1)            soup = BeautifulSoup(page,'lxml')            contents = soup.find('div',class_='p_postlist').contents            for content in contents:                stance= content.find('div',id=re.compile('post_content_.*?'))                if not(stance):                    continue                self.floor += 1                seg = '------------------------------------------ 第%s楼 ----------------------------------\n'%(self.floor)                file.write(seg)                file.write(self.m_filter.filter(str(stance))+'\n\n')        print('写入完成！')if __name__=='__main__':    base_url = 'https://tieba.baidu.com/p/5219956465'    see_lz = 1    txt_path = 'C:/Users/wgy/Desktop/bdtb.txt'    m_spider = Spider(base_url,see_lz,txt_path)    m_spider.get_content()

得到的txt文档效果