基于Predictive Parsing的ABNF语法分析器（一）——ABNF语法介绍

最近一直在做Session Initiation Protocol （SIP）协议方面的开发，SIP在电信VoIP领域应用非常广泛，是一个基于文本语法的协议。SIP的语法规范是使用ABNF来定义的。对SIP语法有兴趣的同学请移步其Augmented BNF for the SIP Protocol章节。Augmented BNF for Syntax Specifications: ABNF本身也是一种语法规范，ABNF形式上可以由其自身来定义，有兴趣的童鞋请参考其第4章“ABNF Definition of ABNF”。

因此，如果想做一个SIP协议栈，首先要有一个SIP的语法解析器，这个语法解析器属于ABNF语法解析器。网上搜索ABNF语法解析器的生成器（ABNF parser generator）能够搜索到不少。当然，如果从学习编译原理的角度来说，我们更倾向于自己去写一个ABNF parser generator，因为如果我们自己动手写过，以后就算用开源的生成器，用起来肯定会有更深刻的体会。

ABNF的语法定义很短，主要分为两部分，Core Rules和ABNF的主体部分。Core Rules主要是一些最基础的符号定义：

        ALPHA          =  %x41-5A / %x61-7A   ; A-Z / a-z        BIT            =  "0" / "1"        CHAR           =  %x01-7F                               ; any 7-bit US-ASCII character,                                  excluding NUL        CR             =  %x0D                               ; carriage return        CRLF           =  CR LF                               ; Internet standard newline        CTL            =  %x00-1F / %x7F                               ; controls        DIGIT          =  %x30-39                               ; 0-9        DQUOTE         =  %x22                               ; " (Double Quote)        HEXDIG         =  DIGIT / "A" / "B" / "C" / "D" / "E" / "F"        HTAB           =  %x09                               ; horizontal tab        LF             =  %x0A                               ; linefeed        LWSP           =  *(WSP / CRLF WSP)                               ; linear white space (past newline)        OCTET          =  %x00-FF                               ; 8 bits of data        SP             =  %x20                               ; space        VCHAR          =  %x21-7E                               ; visible (printing) characters        WSP            =  SP / HTAB                               ; white space

然后我们来看ABNF对自身的形式定义：

        rulelist       =  1*( rule / (*c-wsp c-nl) )        rule           =  rulename defined-as elements c-nl                               ; continues if next line starts                               ;  with white space        rulename       =  ALPHA *(ALPHA / DIGIT / "-")        defined-as     =  *c-wsp ("=" / "=/") *c-wsp                               ; basic rules definition and                               ;  incremental alternatives        elements       =  alternation *c-wsp        c-wsp          =  WSP / (c-nl WSP)        c-nl           =  comment / CRLF                               ; comment or newline        comment        =  ";" *(WSP / VCHAR) CRLF        alternation    =  concatenation                          *(*c-wsp "/" *c-wsp concatenation)        concatenation  =  repetition *(1*c-wsp repetition)        repetition     =  [repeat] element        repeat         =  1*DIGIT / (*DIGIT "*" *DIGIT)        element        =  rulename / group / option /                          char-val / num-val / prose-val        group          =  "(" *c-wsp alternation *c-wsp ")"        option         =  "[" *c-wsp alternation *c-wsp "]"        char-val       =  DQUOTE *(%x20-21 / %x23-7E) DQUOTE                               ; quoted string of SP and VCHAR                                  without DQUOTE        num-val        =  "%" (bin-val / dec-val / hex-val)        bin-val        =  "b" 1*BIT                          [ 1*("." 1*BIT) / ("-" 1*BIT) ]                               ; series of concatenated bit values                               ; or single ONEOF range        dec-val        =  "d" 1*DIGIT                          [ 1*("." 1*DIGIT) / ("-" 1*DIGIT) ]        hex-val        =  "x" 1*HEXDIG                          [ 1*("." 1*HEXDIG) / ("-" 1*HEXDIG) ]        prose-val      =  "<" *(%x20-3D / %x3F-7E) ">"                               ; bracketed string of SP and VCHAR                                  without angles                               ; prose description, to be used as                                  last resort

既然SIP语法是由ABNF语法定义的，而ABNF语法可以由其自身定义，那么我们只要写一个通用的ABNF语法解析器的生成器，就可以解决这个问题了。这个有点像先有鸡还是先有蛋的问题：我们需要一个ABNF语法解析器，而ABNF语法解析器的生成器本身又要能够解析ABNF语法。我们的方案是手工写一个较为简单的ABNF语法分析器，然后用这个语法分析器去生成一个适用于SIP语法的更复杂的语法分析器。

在Alfred V. Aho等大牛的《Compilers》龙书中，recursive-descent parsing是最容易手工编写的算法了，它是一种预测解析方法（predictive parsing），即通过前向看若干个输入字符来决定选择哪一条语法规则（Production），然后将非终止符（nonterminal）定义成一个函数，不断的递归调用即可。对于ABNF自身语法来说，通常是前向看1～2个字符就足够了，但也有局限，后面我们会有分析。龙书中的预测分析器是针对上下文无关文法（BNF）的，ABNF与BNF稍有不同，例如没有空符号（epsilon），增加了一些诸如表示重复的操作符号等，但大体上还是很相像的。

例如，对于一条语法：

stmt -> for ( optexpr; optexpr; optexpr ) stmt

解析器可以这样写：

void stmt() {  match(for); match('(');  optexpr(); match(';'); optexpr(); match(';'); optexpr();  match(')'); stmt();}

怎么样？很简单吧？下一篇我们将开始动手写ABNF语法解析器。