【python学习笔记】8：网页解析器及安装Beautiful Soup 4

网页解析器：从网页中提取出有价值数据的工具。因为将互联网上的网页获取到本地以后，需要对它们进行解析，才能提取出需要的内容。

对于搜索引擎来说，它会提取出网页中所有的URL，用于后续的访问。但是对于定向爬虫来说，除了提取出这些URL之外，还会提取出有价值的数据。

Python中的几种网页解析器：

①使用正则表达式，将整个网页当成一个字符串，用字符串匹配的方式得到有价值的数据。但如果文档比较复杂，这种方式就很麻烦。

②python自带的html.parser模块。

③第三方插件Beautiful Soup。它可以使用②也可以使用④，比较强大。

④第三方插件lxml。

上面的①属于模糊匹配解析，②③④属于结构化解析(将文档信息存在DOM树里进行遍历访问)。DOM树是W3C指定的标准的访问HTML网页的方式。

 

安装第三方插件Beautiful Soup

如果python自带了pip这个工具，那么可以使用pip的install方法来安装。

进入python安装目录下的Script子目录，用dos的dir命令看一下发现pip已经安装，可以使用。

用pip安装Beautiful Soup 4，如下。

在python中测试，安装前报错，和安装后不报错了。