用ANTLR实现规则解析

       ANTLR(pronounced Antler) 是一个语言识别工具，Another Tool forLanguage Recognition 的缩写。ANTLR由旧金山大学(University of San Francisco)的教授 Terence Parr 开发并维护的，其始于1989年，到了现在过了20多年，一直都是一个很活跃的项目。
ANTLR 一般用于构建 Domain-Specific Languages (DSL)。用户编写好特定语言的语法文件后，ANTLR 会根据该语法文件生成相应的源代码来识别该语言。ANTLR 3.4 (截至2011-10-15最新的版本) 支持的编程语言(runtime)包括：ActionScript， Csharp2， Delphi，JavaScript， Perl5， Ruby ， C， CSharp3， Java， ObjC， Python。其中 C runtime 由 Jim Idle 维护，C runtime 也是本文关注的部分。在早期的版本中提供有C++ 的runtime，但是在最新的版本中只提供 C 语言的 runtime。
很多的开源的软件都使用了ANTLR 作为自己的DSL 解析工具，比如： Hibernate，一个在javaEE 中运用非常广泛的ORM 框架，使用ANTLR解析 HQL –一种类似于SQL 的面向对象的数据库查询语言；Apache Hive，一个建于 Hadoop 之上的数据仓库查询语言，使用ANTLR解析HiveQL；TOra，Toolkit for Oracle，一个用 Qt写的Oracle 数据库管理工具，使用ANTLR解析Oracle SQL 和 PL/SQL。还有其他很多的软件也使用了ANTLR，比如 Esper，StreamBase，这两个都是用 Java 写的数据流处理引擎。
    本文主要基于一个例子简单的讲解如果使用 ANTLR，介绍一些ANTLR的基本概念，本文不包括语言识别的理论知识，和ANTLR的一些高级应用，想了解这些知识应该学习编译理论相关知识，并阅读Terence Parr编写的The Definitive ANTLR Reference 。
ANTLR支持生成词法分析器，语法解析器和树解析器，同时也支持把代码和语法规则混合在一起编写，个人觉得两者混合在一起写对于开发会很方便，可是这样会影响语法的可读性，所以在本文中语法与代码不会混合在一起写。
本文将一步步的从头开始使用C语言构造一个简单的StreamSQL 解析器。该StreamSQL 解析器实现对 CREATE INPUT STREAM，CREATE OUTPUT STREAM，CREATE SCHEMA，CREATE WINDOW，SELECT 等语句的解析。
 
工具准备
1、首先下载 ANTLR3.4。http://www.antlr.org/download.html 我们要下载的是ANTLR 3.4 distribution (Source for tools, targets, complete binaries)
2、下载 ANTLRWorks。 ANTLRWorks 是一个可视化的开发工具，为语法的编写和调试提供了很大的方便。

Antlrworks-1.4.3.jar下载地址：http://download.csdn.net/download/tesky0125/4680601

3、下载 ANTLR v3 plugin for eclipse。这是一个Eclipse的插件，可以在Eclipse 里为ANTLR语法文件提供语法高亮，也可以作为语法的调试工具，不    过它的调试功能没有 ANTLRWorks 强大。
注：ANTLR相关工具下载网址：https://github.com/antlr/website-antlr3/tree/gh-pages/download

语法描述
我们要解析的语言如下表所示。

1. CREATE INPUT STREAM Packet PacketTuple;

   CREATE OUTPUT STREAM Aggregate AggregateTuple;

   CREATE SCHEMA PacketTuple (time INT,price DOUBLE );

   CREATE SCHEMA AggregateTuple(

   time INT,

   maxprice DOUBLE ,

   currenttime INT);

   CREATE WINDOW Dimension1(SIZE 180 ADVANCE 10 ON time);

   SELECT max(price) AS maxprice, max(time) AS currenttime

   FROM Packet[Dimension1] INTO Aggregate;

用来解析上面语言的ANTLR语法。

grammar StreamSQL;

options {

language=C;

ASTLabelType=pANTLR3_BASE_TREE;

output=AST;

}

tokens {

TOK_CREATE_SCHEMA;

TOK_CREATE_STREAM;

TOK_CREATE_WINDOW;

TOK_SELECT;

TOK_SCHEMA_LIST;

TOK_NAME_TYPE;

TOK_SELEXPR;

TOK_SELITEM;

TOK_SELLIST;

}

statement

: selectStatement EOF

| createStatement EOF

;

selectStatement

: KW_SELECT selectList

KW_FROM instreamName=Identifier LSQUARE windowName=Identifier RSQUARE KW_INTO outstreamName=Identifier

-> ^(KW_SELECT selectList $instreamName $windowName $outstreamName)

;

selectList

: selectColumn (COMMA selectColumn)*

-> ^(TOK_SELLIST selectColumn+)

;

selectColumn

: selectItem

| selectExpression

;

selectItem

: Identifier KW_AS Identifier

-> ^(TOK_SELITEM Identifier Identifier)

;

selectExpression

: functionName=Identifier LPAREN itemName=Identifier RPAREN KW_AS asName=Identifier

-> ^(TOK_SELEXPR $functionName $itemName $asName)

;

createStatement

: KW_CREATE KW_SCHEMA Identifier schemaList

-> ^(TOK_CREATE_SCHEMA Identifier schemaList)

| KW_CREATE streamType KW_STREAM streamName=Identifier schemaName=Identifier

-> ^(TOK_CREATE_STREAM streamType $streamName $schemaName)

| KW_CREATE KW_WINDOW

windowName=Identifier LPAREN KW_SIZE Number KW_ADVANCE Number KW_ON onWhat=Identifier RPAREN

-> ^(TOK_CREATE_WINDOW $windowName Number Number $onWhat)

;

schemaList

: LPAREN columnNameType (COMMA columnNameType)* RPAREN

-> ^(TOK_SCHEMA_LIST columnNameType+)

;

streamType

: (KW_INPUT | KW_OUTPUT)

;

columnNameType

: coluName=Identifier dataType

-> ^(TOK_NAME_TYPE $coluName dataType)

;

dataType

: KW_INT

| KW_DOUBLE

;

// Keywords

KW_FROM : 'FROM';

KW_AS : 'AS';

KW_SELECT : 'SELECT';

KW_ON : 'ON';

KW_CREATE: 'CREATE';

KW_INT: 'INT';

KW_DOUBLE: 'DOUBLE';

KW_INTO: 'INTO';

KW_SCHEMA: 'SCHEMA';

KW_INPUT: 'INPUT';

KW_OUTPUT: 'OUTPUT';

KW_STREAM: 'STREAM';

KW_WINDOW: 'WINDOW';

1.