BeautifulSoup入门

来源：互联网发布：linux dhcp服务配置编辑：程序博客网时间：2024/06/02 04:43

BeautifulSoup库入门

BeautifulSoup库的理解

BeautifulSoup库是解析、遍历、维护”标签树”的功能库

示例代码:

from bs4 import BeautifulSoupsoup = BeautifulSoup("<html>data</html>","html.parser")#第一参数是html文档,第二个参数指定parser类型是html.parsersoup2 = BeautifulSoup(open("d://demo.html"),"html.parser")

BeautifulSoup解析器

解析器使用方法条件 bs4的html解析器: BeautifulSoup(mk,’html.parser’) 安装bs4库 lxml的html解析器: BeautifulSoup(mk,’lxml’) pip install lxml lxml的xml解析器: BeautifulSoup(mk,’xml’) pip install lxml html5lib的解析器: BeautifulSoup(mk,’html5lib’) pip install html5lib

BeautifulSoup类的基本元素

基本元素说明使用方式 Tag 标签,最基本的信息组织单元,分别用<>和表明开头和结尾 soup.a soup.p soup.head soup.title Name 标签的名字, \…\<\/p> 的名字是p，格式.name soup.a.name soup.p.name soup.div.name Attribute 标签的属性,字典形式组织,格式: .attrs soup.a.attrs soup.div.attrs NavigableString 标签内非属性字符串,<>中字符串,格式:.string soup.a.string soup.p.string Comment 标签内字符串的注释部分 soup.a.string(会去掉!–和–,只显示注释内容,但是用type(soup.a.string)会返回)

使用BeautifulSoup遍历HTML DOM树

属性说明 .contents 子节点的列表,将说有儿子节点存入列表 .children 子节点的迭代类型,与.contents类似,用于遍历儿子节点 .descendants 子孙节点的迭代类型,包含所有子孙节点,用于循环遍历 .parent 节点的父亲标签 .parents 节点所有祖先标签,用于循环遍历祖先节点 .next_sibling 返回按照HTML文本顺序的下一个平行节点标签 .previous_sibling 返回按照HTML文本顺序的上一个平行节点标签 .next_siblings 迭代类型,返回按照HTML文本顺序的后续所有平行节点标签 .previous_siblings 迭代类型,返回按照HTML文本顺序的前续所有平行节点标签

实例代码:

from bs4 import BeautifulSoupimport requestsresponse = requests.get("http://www.icourse163.org/learn/BIT-1001870001")html = response.textsoup = BeautifulSoup(html,"html.parser")tag = soup.aprint(tag.contents)#打印子节点列表for child in tag.children:#迭代所有子节点    print(child)for descendant in tag.descendants:#迭代所有子孙节点    print(descendantprint(tag.parent)#打印父亲节点for parent in tag.parents:#迭代所有父节点    print(parent)print(tag.next_sibling)#下一个兄弟节点

阅读全文

0 0