小白学爬虫-----bs4的学习-1

来源：互联网发布：应聘淘宝客服被骗编辑：程序博客网时间：2024/06/15 05:46

7.15

爬虫的学习，大致分成三个步骤：

1、简单的定向爬虫，以request-bs4-re包为基础；

2、大型的框架式爬虫（scrapy）

3、浏览器模拟爬虫（selenium模拟）

今天学习的是request和bs4的包。

首先，我们有一段html源码，利用bs4中的BeautifulSoup进行“格式化”，从而形成一个“类”，

方便我们对其中的属性进行操作。

soup = BeautifulSoup(html,'html.parser')

比如我们要得要其中所有的文本信息，我们可以：

print(soup.get_text())

bs4包之所以能够抓取我们需要的元素，是因为它利用了解析器将html源码解析了一遍。

下面介绍bs4的解析器

官方推荐的是lxml解析器

下面使用lxml解析器来解析网页

soup_1 = BeautifulSoup(html_doc,'lxml') //上面使用的是html.parser解析器

使用方法是BeautifulSoup(html源码，’解析器类型‘）

利用print(soup_1.prettify())可以打印出该html的结构

bs4包将html源码转化成了一个树形结构，每一个节点都是python对象。

搜索文档树最简单的方法是搜索想要获取的Tag的Name，比如soup_1.head

我们会得到<head>元素

<head><title>The Dormouse's story</title></head>

如果要得到更深入的Tag，

print(soup_1.head.title)   ##得到head元素中的title元素

想要获取所有的某一类标签

tag = soup_1.find_all('a')    #使用了find_all方法，会得到一个数组

#得到第二个a标签元素

tag的.contents属性可以将tag的子节点以列表的方式输出：

将tag元素下一级的html元素以数组的方式显示；

tag的.children生成器，对tag的子节点进行循环输出：

descendants是子孙节点：head的子节点是<title>The Dormouse's story</title>，

title的子节点是The Dormouse's story

节点暂时理解为包含在tag中的子tag

如何找到某个tag下的所有文本内容：

见下期

阅读全文

1 0