字符串令牌解析

这部分内容我觉得一般情况下用不到，只有在高级字符解析，有特定需求的时候才可能有用,所以并没有花太多时间去揣摩。

中文版原文链接在此：字符串令牌解析

假如我们有这样一段字符串s='jack + me = money ?' 在这个字符串中，像jack，me,money这些就是一类词语，姑且称作名词，像+，=,?这样的那就是标点符号了，当然还有我们无处不在的whitespace了。

令牌解析的目的是什么呢？我的理解里是在字符串解析的过程中标注出你需要的东东。下面开始来正经的了。

>>>s='jack + me =money '#定制匹配模式，设置你的需求>>>import re>>>NAME=r'(?P<NAME>[a-zA-Z_][a-zA-Z_0-9]*)'>>>PLUS=r'(?P<PLUS>\+)'>>>EQ=r'(?P<EQ>=)'>>>WS=r'(?P<WS>\s+)'>>>your_pat=re.compile('|'.join([NAME,PLUS,EQ,WS]))

到这里，要隆重登场的是模式对象差点被人忘记的scanner，调用scanner方法，返回一个scanner对象，在这个对象上一次次的调用match()来验证我爱不爱你，爱你就匹配出成功，否则，滚蛋吧。

>>>scanner=your_pat.scanner(s)>>>scanner.match()   #you can see match='jack'<_sre.SRE_Match object; span=(0, 4), match='jack'>>>>scanner.match()<_sre.SRE_Match object; span=(4, 5), match=' '>>>>scanner.match()<_sre.SRE_Match object; span=(5, 6), match='+'>>>>scanner.match()<_sre.SRE_Match object; span=(6, 7), match=' '>>>>scanner.match()<_sre.SRE_Match object; span=(7, 9), match='me'>>>>scanner.match()<_sre.SRE_Match object; span=(9, 10), match=' '>>>>scanner.match()<_sre.SRE_Match object; span=(10, 11), match='='>>>>scanner.match()<_sre.SRE_Match object; span=(11, 12), match=' '>>>>scanner.match()<_sre.SRE_Match object; span=(12, 17), match='money'>>>>scanner.match()<_sre.SRE_Match object; span=(17, 18), match=' '>>>>scanner.match()>>>#经过一连串的match，终于匹配完成，每match一次，吐出一个匹配的字符串#显示一下粗暴的展示令牌方法，WS出现了，表示匹配到了一串（n>=1）空格>>> _.lastgroup,_.group()('WS', ' ')```显然，上面的方法太特么累了，每次match()吐一个，幸好我们有生成器这玩意儿：

from collections import namedtupledef generate_tokens(pat,text):Token=namedtuple('Token',['type','value'])scanner=pat.scanner(text)for item in iter(scanner.match,None):yield Token(item.lastgroup,item.group())

上面这几行代码有几行需要解释解释：

1.namedtuple这方法是从collections库中导入的，它是python2.6开始出现的一个工厂函数，它的作用是：Returns a new tuple subclass named typename. The new subclass is used to create tuple-like objects that have fields accessible by attribute lookup as well as being indexable and iterable.参考：namedtuple2.iter，手动迭代，第一个参数表示可以进行迭代调用的对象，第二个参数表示停止标志，在这里，一直迭代调用scanner.match方法，直到返回None停止调用。3.yield生成器返回函数，类似return，但是yield返回之后程序不会结束，而是继续回来执行

接下来就可以办事了：

>>>for item in generate_tokens(your_pat,s):print(item)('NAME', 'jack')('WS', ' ')('PLUS', '+')('WS', ' ')('NAME', 'me')('WS', ' ')('EQ', '=')('WS', ' ')('NAME', 'money')('WS', ' ')