Python 3爬虫网易云（五）—— 正则表达式下篇之HTML标签

上篇详细介绍了一下正则表达式的常用知识点。这一篇我们开启正则表达式里的search()方法和一些其他的方法。

search()

我们在前一篇提到过match()方法是从字符串的开头开始匹配，一旦开头不匹配，那么整个匹配就失败了。

我们看下面的例子：

import recontent = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'result = re.match('Hello.*?(\d+).*?Demo', content)print(result)

在这里我们有一个字符串，它是以Extra开头的，但是正则表达式我们是以Hello开头的，整个正则表达式是字符串的一部分，但是这样匹配是失败的，也就是说只要第一个字符不匹配整个匹配就不能成功，运行结果如下：

None

所以match()方法在我们在使用的时候需要考虑到开头的内容，所以在做匹配的时候并不那么方便，它适合来检测某个字符串是否符合某个正则表达式的规则。

所以在这里就有另外一个方法search()，它在匹配时会扫描整个字符串，然后返回第一个成功匹配的结果，也就是说，正则表达式可以是字符串的一部分，在匹配时，search()方法会依次扫描字符串，直到找到第一个符合规则的字符串，然后返回匹配内容，如果搜索完了还没有找到，那就返回None。

我们把上面的代码中的match()方法修改成search()，再看下运行结果：

<_sre.SRE_Match object; span=(13, 53), match='Hello 1234567 World_This is a Regex Demo'>

这样就得到了匹配结果。

所以说，为了匹配方便，我们可以尽量使用search()方法。

下面我们再用几个实例来感受一下search()方法的用法。

首先这里有一段待匹配的HTML文本，我们接下来写几个正则表达式实例来实现相应信息的提取。

这里写代码片html = '''<div id="songs-list">    <h2 class="title">经典老歌</h2>    <p class="introduction">        经典老歌列表    </p>    <ul id="list" class="list-group">        <li data-view="2">一路上有你</li>        <li data-view="7">            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>        </li>        <li data-view="4" class="active">            <a href="/3.mp3" singer="齐秦">往事随风</a>        </li>        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>        <li data-view="5">            <a href="/6.mp3" singer="邓丽君"><i class="fa fa-user"></i>但愿人长久</a>        </li>    </ul></div>'''

观察到<ul>节点里面有许多<li>节点，其中<li>节点有的包含<a>节点，有的不包含<a>节点，<a>节点还有一些相应的属性，超链接和歌手名。

首先我们尝试提取class为active的<li>节点内部的超链接包含的歌手名和歌名。

所以我们需要提取第三个<li>节点下的<a>节点的singer属性和文本。

所以正则表达式可以以<li>开头，然后接下来寻找一个标志符active，中间的部分可以用.*?来匹配，然后接下来我们要提取singer这个属性值，所以还需要写入singer="(.*?)"，我们需要提取的部分用小括号括起来，以便于用group()方法提取出来，它的两侧边界是双引号，然后接下来还需要匹配<a>节点的文本，那么它的左边界是>，右边界是</a>，所以我们指定一下左右边界，然后目标内容依然用(.*?)来匹配，所以最后的正则表达式就变成了<li.*?active.*?singer="(.*?)">(.*?)</a>'，然后我们再调用search()方法，它便会搜索整个HTML文本，找到符合正则表达式的第一个内容返回。

另外由于代码有换行，所以这里第三个参数需要传入re.S

所以整个匹配代码如下：

result = re.search('<li.*?active.*?singer="(.*?)">(.*?)</a>', html, re.S)if result:    print(result.group(1), result.group(2))

由于我们需要获取的歌手和歌名都已经用了小括号包围，所以可以用group()方法获取，序号依次对应group()的参数。

运行结果：

齐秦 往事随风

可以看到这个正是我们想提取的class为active的<li>节点内部的超链接包含的歌手名和歌名。

那么正则表达式不加active会怎样呢？也就是匹配不带class为active的节点内容，我们将正则表达式中的active去掉，代码改写如下：

result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html, re.S)if result:    print(result.group(1), result.group(2))

由于search()方法会返回第一个符合条件的匹配目标，那在这里结果就变了。

运行结果如下：

任贤齐 沧海一声笑

因为我们把active标签去掉之后，从字符串开头开始搜索，符合条件的节点就变成了第二个<li>节点，后面的就不再进行匹配，所以运行结果自然就变成了第二个<li>节点中的内容。

注意在上面两次匹配中，search()方法的第三个参数我们都加了re.S，使得.*?可以匹配换行，所以含有换行的<li>节点被匹配到了，如果我们将其去掉，结果会是什么？

result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html)if result:    print(result.group(1), result.group(2))

运行结果：

beyond 光辉岁月

可以看到结果就变成了第四个<li>节点的内容，这是因为第二个和第三个<li>标签都包含了换行符，去掉re.S之后，.*?已经不能匹配换行符，所以正则表达式不会匹配到第二个和第三个<li>节点，而第四个<li>节点中不包含换行符，所以成功匹配。

由于绝大部分的HTML文本都包含了换行符，所以通过上面的例子，我们尽量都需要加上re.S修饰符，以免出现匹配不到的问题。

findall()

在前面我们说了search()方法的用法，它可以返回匹配正则表达式的第一个内容，但是如果我们想要获取匹配正则表达式的所有内容的话怎么办？这时就需要借助于findall()方法了。

findall()方法会搜索整个字符串然后返回匹配正则表达式的所有内容。

还是上面的HTML文本，如果我们想获取所有<a>节点的超链接、歌手和歌名，就可以将search()方法换成findall()方法。如果有返回结果的话就是list类型，所以我们需要遍历一下list来获依次获取每组内容。

results = re.findall('<li.*?href=".*?mp3(.*?)".*?singer="(.*?)">(.*?)</a>', html, re.S)print(type(results))for result in results:    print(result)    print(result[0], result[1], result[2])

运行结果：

<class 'list'>('', '任贤齐', '沧海一声笑') 任贤齐 沧海一声笑('', '齐秦', '往事随风') 齐秦 往事随风('', 'beyond', '光辉岁月') beyond 光辉岁月('', '陈慧琳', '记事本') 陈慧琳 记事本('', '邓丽君', '<i class="fa fa-user"></i>但愿人长久') 邓丽君 <i class="fa fa-user"></i>但愿人长久

可以看到，返回的list的每个元素都是tuple类型，我们用对应的索引依次取出即可。

所以，如果只是获取第一个内容，可以用search()方法，当需要提取多个内容时，就可以用findall()方法。

sub()

正则表达式除了提取信息，我们有时候还需要借助于它来修改文本，比如我们想要把一串文本中的所有数字都去掉，如果我们只用字符串的replace()方法那就太繁琐了，在这里我们就可以借助于sub()方法。

我们用一个实例来感受一下：

import recontent = '54aK54yr5oiR54ix5L2g'content = re.sub('\d+', '', content)print(content)

运行结果：

aKyroiRixLg

在这里我们只需要在第一个参数传入\d+来匹配所有的数字，然后第二个参数是替换成的字符串，要去掉的话就可以赋值为空，第三个参数就是原字符串。

得到的结果就是替换修改之后的内容。

那么在上面的HTML文本中，如果我们想正则获取所有<li>节点的歌名，如果直接用正则表达式来提取可能比较繁琐，比如可以写成这样子：

results = re.findall('<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>', html, re.S)for result in results:    print(result[1])

运行结果：

一路上有你沧海一声笑往事随风光辉岁月记事本但愿人长久

但如果我们借助于sub()函数就比较简单了，我们可以先用sub()函数将<a>节点去掉，只留下文本，然后再利用findall()提取就好了。

html = re.sub('<a.*?>|</a>', '', html)print(html)results = re.findall('<li.*?>(.*?)</li>', html, re.S)for result in results:    print(result.strip())

运行结果：

<div id="songs-list">    <h2 class="title">经典老歌</h2>    <p class="introduction">        经典老歌列表    </p>    <ul id="list" class="list-group">        <li data-view="2">一路上有你</li>        <li data-view="7">            沧海一声笑        </li>        <li data-view="4" class="active">            往事随风        </li>        <li data-view="6">光辉岁月</li>        <li data-view="5">记事本</li>        <li data-view="5">            但愿人长久        </li>    </ul></div>一路上有你沧海一声笑往事随风光辉岁月记事本但愿人长久

可以到<a>标签在经过sub()函数处理后都没有了，然后再findall()直接提取即可。所以在适当的时候我们可以借助于sub()方法做一些相应处理可以事半功倍。

compile()

前面我们所讲的方法都是用来处理字符串的方法，最后再介绍一个compile()方法，这个方法可以讲正则字符串编译成正则表达式对象，以便于在后面的匹配中复用。

import recontent1 = '2016-12-15 12:00'content2 = '2016-12-17 12:55'content3 = '2016-12-22 13:21'pattern = re.compile('\d{2}:\d{2}')result1 = re.sub(pattern, '', content1)result2 = re.sub(pattern, '', content2)result3 = re.sub(pattern, '', content3)print(result1, result2, result3)

例如这里有三个日期，我们想分别将三个日期中的时间去掉，所以在这里我们可以借助于sub()方法，sub()方法的第一个参数是正则表达式，但是这里我们没有必要重复写三个同样的正则表达式，所以可以借助于compile()函数将正则表达式编译成一个正则表达式对象，以便复用。

运行结果：

2016-12-15  2016-12-17  2016-12-22 

另外compile()还可以传入修饰符，例如re.S等修饰符，这样在search()、findall()等方法中就不需要额外传了。所以compile()方法可以说是给正则表达式做了一层封装，以便于我们更好地复用。

到此为止，正则表达式的基本用法就介绍完毕了，后面我们会有实战来讲解正则表达式的使用。