Python 3爬虫网易云（四）—— 正则表达式上篇之匹配法则

学完Request库的BeautifulSoup库的基本用法后，现在有必要学习一下正则表达式才能更好的解决自己遇到的爬虫问题，当然如果会Selenium基于自动化测试爬虫、BeautifulSoup分析网页DOM节点，这就更方便了，但本文更多的是介绍基于正则的底层爬取分析。那些再后续的文章中会提到啦。
详细的正则表达式可以戳：
这里写链接内容

正则表达式

首先，我们用一个小小的实例来了解认识正则表达式。

我们打开开源中国提供的正则表达式测试工具http://tool.oschina.net/regex/，打开之后我们可以输入待匹配的文本，然后选择常用的正则表达式，就可以从我们输入的文本中得出相应的匹配结果了。

比如输入的文本如下:

Hello, my phone number is 010-86432100 and email is [e-mail], and my website is http://cuiqingcai.com.

这段字符串中包含了一个电话号码和一个电子邮件，接下来我们就尝试用正则表达式提取出来。

我们在网页中选择匹配Email地址，就可以看到在下方出现了文本中的Email。如果我们选择了匹配网址URL，就可以看到在下方出现了文本中的URL。是不是非常神奇？

其实，在这里就是用了正则表达式匹配，也就是用了一定的规则将特定的文本提取出来。比如电子邮件它开头是一段字符串，然后是一个@符号，然后就是某个域名，这是有特定的组成格式的。另外对于URL，开头是协议类型，然后是冒号加双斜线，然后是域名加路径。

对于URL来说，用下面的正则表达式匹配：

[a-zA-z]+://[^\s]*

如果我们用这个正则表达式去匹配一个字符串，如果这个字符串中包含类似URL的文本，那就会被提取出来。

这个正则表达式看上去是乱糟糟的一团，其实不然，这里面都是有特定的语法规则的。比如a-z代表匹配任意的小写字母，\s表示匹配任意的空白字符，*就代表匹配前面的字符任意多个，这一长串的正则表达式就是这么多匹配规则的组合，最后实现特定的匹配功能。

写好正则表达式后，我们就可以拿它去一个长字符串里匹配查找了，不论这个字符串里面有什么，只要符合我们写的规则，统统可以找出来。那么对于网页来说，如果我们想找出网页源代码里有多少URL，就可以用匹配URL的正则表达式去匹配，就可以得到源码中的URL了。
具体的正则表达式的匹配规则：

可能完了之后就有点晕晕的了把，不用担心，下面我们会详细讲解下一些常见的规则的用法。怎么用它来从网页中提取我们想要的信息。

下面我们来了解一下正则表达式在Python中具体的用法：

match()

在这里首先介绍第一个常用的匹配方法，match()方法，我们向这个方法传入要匹配的字符串以及正则表达式，就可以来检测这个正则表达式是否匹配字符串了。

match()方法会尝试从字符串的起始位置匹配正则表达式，如果匹配，就返回匹配成功的结果，如果不匹配，那就返回None。

我们用一个实例来感受一下：

import recontent = 'Hello 123 4567 World_This is a Regex Demo'print(len(content))result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}', content)print(result)print(result.group())print(result.span())

运行结果

41<_sre.SRE_Match object; span=(0, 25), match='Hello 123 4567 World_This'>Hello 123 4567 World_This(0, 25)

正则表达式中开头的^是匹配字符串的开头，也就是以Hello开头，然后\s匹配空白字符，用来匹配目标字符串的空格，\d匹配数字，三个\d匹配123，然后再写一个\s匹配空格，后面还有4567，我们其实可以依然用四个\d来匹配，但是这么写起来比较繁琐，所以在后面可以跟{4}代表匹配前面的字符四次，也就是匹配四个数字，这样也可以完成匹配，然后后面再紧接一个空白字符，然后\w{10}匹配10个字母及下划线，正则表达式到此为止就结束了。

match()方法第一个参数传入正则表达式，第二个参数传入需要匹配的字符串。

打印后，可以看到结果是SRE_Match对象，证明成功匹配，它有两个方法，group()方法可以输出匹配到的内容，结果是Hello 123 4567 World_This，这恰好是我们正则表达式规则所匹配的内容，span()方法可以输出匹配的范围，结果是(0, 25)，这个就是匹配到的结果字符串在原字符串中的位置范围。

匹配字符串的中间内容
刚才我们用了match()方法可以得到匹配到的字符串内容，但是如果我们想从字符串中提取一部分内容怎么办呢？就像最前面的实例一样，从一段文本中提取出邮件或电话号等内容。
在这里可以使用()括号来将我们想提取的子字符串括起来，()实际上就是标记了一个子表达式的开始和结束位置，被标记的每个子表达式会依次对应每一个分组，我们可以调用group()方法传入分组的索引即可获取提取的结果。

import recontent = 'Hello 1234567 World_This is a Regex Demo'result = re.match('^Hello\s(\d+)\sWorld', content)print(result)print(result.group())print(result.group(1))print(result.span())

依然是前面的字符串，在这里我们想匹配这个字符串并且把其中的1234567提取出来，在这里我们将数字部分的正则表达式用()括起来，然后接下来调用了group(1)获取匹配结果。

运行结果如下：

<_sre.SRE_Match object; span=(0, 19), match='Hello 1234567 World'>Hello 1234567 World1234567(0, 19)

可以看到在结果中成功得到了1234567，我们获取用的是group(1)，与group()有所不同，group()会输出完整的匹配结果，而group(1)会输出第一个被()包围的匹配结果，假如正则表达式后面还有()包括的内容，那么我们可以依次用group(2)、group(3)等来依次获取。

通用匹配

刚才我们写的正则表达式其实比较复杂，出现空白字符我们就写\s匹配空白字符，出现数字我们就写\d匹配数字，工作量非常大，其实完全没必要这么做，还有一个万能匹配可以用，也就是.*，.可以匹配任意字符(除换行符)，*又代表匹配前面的字符无限次，所以它们组合在一起就可以匹配任意的字符了，有了它我们就不用挨个字符地匹配了。

所以接着上面的例子，我们可以改写一下正则表达式。

import recontent = 'Hello 123 4567 World_This is a Regex Demo'result = re.match('^Hello.*Demo$', content)print(result)print(result.group())print(result.span())

在这里我们将中间的部分直接省略，全部用.*来代替，最后加一个结尾字符串就好了，运行结果如下：

<_sre.SRE_Match object; span=(0, 41), match='Hello 123 4567 World_This is a Regex Demo'>Hello 123 4567 World_This is a Regex Demo(0, 41)

可以看到group()方法输出了匹配的全部字符串，也就是说我们写的正则表达式匹配到了目标字符串的全部内容，span()方法输出(0, 41)，是整个字符串的长度
因此，我们可以在使用.*来简化正则表达式的书写。

贪婪匹配与非贪婪匹配

在使用上面的通用匹配.*的时候可能我们有时候匹配到的并不是想要的结果，我们看下面的例子：

import recontent = 'Hello 1234567 World_This is a Regex Demo'result = re.match('^He.*(\d+).*Demo$', content)print(result)print(result.group(1))

在这里我们依然是想获取中间的数字，所以中间我们依然写的是(\d+)，数字两侧由于内容比较杂乱，所以两侧我们想省略来写，都写.*，最后组成^He.*(\d+).*Demo$，看样子并没有什么问题，我们看下运行结果：

<_sre.SRE_Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Demo'>7

奇怪的事情发生了，我们只得到了7这个数字，这是怎么回事？

这里就涉及一个贪婪匹配与非贪婪匹配的原因了，贪婪匹配下，.*会匹配尽可能多的字符，我们的正则表达式中.*后面是\d+，也就是至少一个数字，并没有指定具体多少个数字，所以.*就尽可能匹配多的字符，所以它把123456也匹配了，给\d+留下一个可满足条件的数字7，所以\d+得到的内容就只有数字7了。

但这样很明显会给我们的匹配带来很大的不便，有时候匹配结果会莫名其妙少了一部分内容。其实这里我们只需要使用非贪婪匹配匹配就好了，非贪婪匹配的写法是.*?，多了一个?，那么它可以达到怎样的效果？我们感受一下：

import recontent = 'Hello 1234567 World_This is a Regex Demo'result = re.match('^He.*?(\d+).*Demo$', content)print(result)print(result.group(1))

结果如下：

<_sre.SRE_Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Demo'>1234567

很好，这下我们就可以成功获取1234567了。原因可想而知，贪婪匹配是尽可能匹配多的字符，非贪婪匹配就是尽可能匹配少的字符，.*?之后是\d+用来匹配数字，当.*?匹配到Hello后面的空白字符的时候，再往后的字符就是数字了，而\d+恰好可以匹配，那么这里.*?就不再进行匹配，交给\d+去匹配后面的数字。所以这样，.*?匹配了尽可能少的字符，\d+的结果就是1234567了。

所以说，在做匹配的时候，字符串中间我们可以尽量使用非贪婪匹配来匹配，也就是用.*?来代替.*，以免出现匹配结果缺失的情况。

但这里注意，如果匹配的结果在字符串结尾，.*?就有可能匹配不到任何内容了，因为它会匹配尽可能少的字符

import recontent = 'http://weibo.com/comment/kEraCN'result1 = re.match('http.*?comment/(.*?)', content)result2 = re.match('http.*?comment/(.*)', content)print('result1', result1.group(1))print('result2', result2.group(1))

运行结果：

result1 result2 kEraCN

观察到.*?没有匹配到任何结果，而.*则尽量匹配多的内容，成功得到了匹配结果。

所以在这里好好体会一下贪婪匹配和非贪婪匹配的原理，对后面写正则表达式非常有帮助。

修饰符

正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。

在match()方法的第三个参数传入re.S，它的作用是使.匹配包括换行符在内的所有字符。例如：

import recontent = '''Hello 1234567 World_Thisis a Regex Demo'''result = re.match('^He.*?(\d+).*?Demo$', content,re.S)print(result.group(1))

运行结果如下:

1234567

这个re.S在网页匹配中会经常用到，因为HTML节点经常会有换行，加上它我们就可以匹配节点与节点之间的换行了。

另外还有一些修饰符，在必要的情况下也可以使用：

修饰符描述
re.I使匹配对大小写不敏感
re.L做本地化识别（locale-aware）匹配
re.M多行匹配，影响 ^ 和 $
re.S使 . 匹配包括换行在内的所有字符
re.U根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.
re.X该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。
在网页匹配中较为常用的为re.S、re.I。

转义匹配

我们知道正则表达式定义了许多匹配模式，如.匹配除换行符以外的任意字符，但是如果目标字符串里面它就包含.我们改怎么匹配？

那么这里就需要用到转义匹配了，我们用一个实例来感受一下：

import recontent = '(百度)www.baidu.com'result = re.match('\(百度\)www\.baidu\.com', content)print(result)

当遇到用于正则匹配模式的特殊字符时，我们在前面加反斜线来转义一下就可以匹配了。例如.我们就可以用\.来匹配，运行结果：

<_sre.SRE_Match object; span=(0, 17), match='(百度)www.baidu.com'>

可以看到成功匹配到了原字符串。

以上是写正则表达式常用的几个知识点，熟练掌握上面的知识点对后面我们写正则表达式匹配非常有帮助。