lex yacc系列(一)初步识lex

 

一.介绍

Lex(Lexical Analyzar 词法分析生成器)，Yacc(Yet Another Compiler Compiler编译器代码生成器)是Unix下十分重要的词法分析，语法分析的工具。经常用于语言分析，公式编译等广泛领域。遗憾的是网上中文资料介绍不是过于简单，就是跳跃太大，入门参考意义并不大。本文通过循序渐进的例子，从0开始了解掌握Lex和Yacc的用法。

 

二.lex简单示例

  先看一个简单的例子(本文都在window下vc.net + parser generator 2环境下完成,配置方法见http://blog.csdn.net/chenxiaohua/archive/2008/01/16/2046129.aspx)

文件名exfirst.l,内容如下:

1. %{
2. /**
3. * (C) Copyright 2008
4. * @version  v1.0
5. * @author 陈利
6. * @brief  分析输入的单词,简单的示例
7. *     
8. * history:
9. * <p>
10.   chenli 2008-12-10 1.0 create this moudle;
11.  </p>
12. */
13. #include "stdio.h"
14. %}
15. %%
16. [/n]                  ;
17. [0-9]+                printf("Int     : %s/n",yytext);
18. [0-9]*/.[0-9]+        printf("Float   : %s/n",yytext);
19. [a-zA-Z][a-zA-Z0-9]*  printf("Var     : %s/n",yytext);
20. [/+/-/*///%]          printf("Op      : %s/n",yytext);
21. .                     printf("Unknown : %c/n",yytext[0]);
22. %%
24. int main(void)
25. {
26.     int n = yylex();
27.     return n;
28. }
30. int yywrap(void)
31. {
32.     return 1;
33. }

在源程序目录执行命令alex exfirst.l

生成文件exfirst.c

用vc.net建立一个win32控制台工程01，然后将源代码exfirst.l和exfirst.c添加到工程中

打开"01"工程属性对话框，如下图:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

如图进行设置，然后编译，得到了可执行程序。

执行程序，在控制台上输入如下内容：

444 + 55 ii 555.67 ok

然后回车，得到如下的输出结果

Int     : 444
Unknown :
Op      : +
Unknown :
Int     : 55
Unknown :
Var     : ii
Unknown :
Float   : 555.67
Unknown :
Var     : ok

通过如上的示例，总结一下lex的用法和开发步骤。

1.根据需要编写lex文件

2.用alex转换得到.c文件

3.用.c文件编译得到可执行程序。

4.运行测试可执行程序.

上面的程序默认从标准输入得到解析内容，所以运行的时候，可以采用重定向符，从制定文件读取数据,命令如下:

01 < test.txt

上面的命令将使程序从test.txt中读取文本，然后进行解析，并打印解析结果。

 

对lex有了初步认识之后，现在继续看另外一个示例:

用vc.net新建一个win32控制台空项目"011"。

创建一个文本文件

文件名simple.l，内容如下:

 

1. %{
2. /**
3. * (C) Copyright 2008
4. * @version  v1.0
5. * @author 陈利
6. * @brief  分析输入的单词,简单的示例
7. *                   
8. * history:
9. * <p>
10.         chenli 2008-12-10 1.0 create this moudle;
11.     </p>
12. */
14. #include "stdio.h"
15. int linenum;
16. %}
17. %%
18. title                 showtitle();
19. [/n]                  linenum++;
20. [0-9]+                printf("Int     : %s/n",yytext);
21. [0-9]*/.[0-9]+        printf("Float   : %s/n",yytext);
22. [a-zA-Z][a-zA-Z0-9]*  printf("Var     : %s/n",yytext);
23. [/+/-/*///%]          printf("Op      : %s/n",yytext);
24. .                     printf("Unknown : %c/n",yytext[0]);
25. %%
26. showtitle()
27. {
28.     printf("----- Lex Example -----/n");
29. }
31. int main()
32. {
33.   linenum=1;
34.   yylex(); /* 进行分析 */
35.   printf("/nLine Count: %d/n",linenum);
36.   return 0;
37. }
38. int yywrap()
39. {
40.     return 1;
41. }

然后执行命令alex simple.l，得到simple.c

如"01"工程，将simple.l和simple.c加入到"011"工程中

在项目属性中：

"配置属性"=>"连接器"=>"输入"=>"附加依赖项"中输入"yld.lib"

"配置属性"=>"自定义生成步骤"=>"命令行"    输入"alex simple.l"

"配置属性"=>"自定义生成步骤"=>"输出"       输入"simple.c"

 

然后就可以编译得到可执行程序011.exe了。

测试

编辑测试文件test.txt，内容如下

444 + 55 ii 555.67
int
float
double
long

在命令行输入011 < test.txt

输出结果:

Int     : 444
Unknown :
Op      : +
Unknown :
Int     : 55
Unknown :
Var     : ii
Unknown :
Float   : 555.67
Var     : int
Var     : float
Var     : double
Var     : long

Line Count: 5

有了前面两个示例，打架对lex编程应该轻车路熟了。

 

三.Lex(Lexical Analyzar) 描述文件的结构介绍

Lex工具是一种词法分析程序生成器，它可以根据词法规则说明书的要求来生成单词识别程序，由该程序识别出输入文本中的各个单词。 一般可以分为<定义部分><规则部分><用户子程序部分>。其中规则部分是必须的，定义和用户子程序部分是任选的。 

 

(1)定义部分
定义部分起始于 %{ 符号，终止于 %} 符号，其间可以是包括include语句、声明语句
在内的C语句。这部分跟普通C程序开头没什么区别。
%{
#include "stdio.h"
int linenum;
%}

(2) 规则部分
规则部分起始于"%%"符号，终止于"%%"符号，其间则是词法规则。词法规则由模式和
动作两部分组成。模式部分可以由任意的正则表达式组成，动作部分是由C语言语句组
成，这些语句用来对所匹配的模式进行相应处理。需要注意的是，lex将识别出来的单
词存放在yytext[]字符数据中，因此该数组的内容就代表了所识别出来的单词的内容。
类似yytext这些预定义的变量函数会随着后面内容展开一一介绍。动作部分如果有多
行执行语句，也可以用{}括起来。

%%
title                 showtitle();
[/n]                  linenum++;
[0-9]+                printf("Int     : %s/n",yytext);
[0-9]*/.[0-9]+        printf("Float   : %s/n",yytext);
[a-zA-Z][a-zA-Z0-9]*  printf("Var     : %s/n",yytext);
[/+/-/*///%]          printf("Op      : %s/n",yytext);
.                     printf("Unknown : %c/n",yytext[0]);
%%

A.规则部分的正则表达式

规则部分是Lex描述文件中最为复杂的一部分，下面列出一些模式部分的正则表达式字
符含义：

A-Z, 0-9, a-z	构成模式部分的字符和数字。
-	指定范围。例如：a-z 指从 a 到 z 之间的所有字符。
/	转义元字符。用来覆盖字符在此表达式中定义的特殊意义，只取字符的本身。
[]	表示一个字符集合。匹配括号内的任意字符。如果第一个字符是^那么它表示否定模式。例如: [abC] 匹配 a, b, 和C的任何一个。
^	表示否定。
*	匹配0个或者多个上述模式。
+	匹配1个或者多个上述模式。
?	匹配0个或1个上述模式。
$	作为模式的最后一个字符时匹配一行的结尾。
{ }	表示一个模式可能出现的次数。 例如: A{1,3} 表示 A 可能出现1次或3次。[a-z]{5} 表示长度为5的，由a-z组成的字符。此外，还可以表示预定义的变量。
.	匹配任意字符，除了 /n。
( )	将一系列常规表达式分组。如：{Letter}({Letter}|{Digit})*
|	表达式间的逻辑或。
"一些符号"	字符的字面含义。元字符具有。如："*" 相当于 [/*]。
/	向前匹配。如果在匹配的模式中的"/"后跟有后续表达式，只匹配模版中"/"前面的部分。如：模式为 ABC/D 输入 ABCD，时ABC会匹配ABC/D，而D会匹配相应的模式。输入ABCE的话，ABCE就不会去匹配ABC/D。

 

B.规则部分的优先级

规则部分具有优先级的概念，先举个简单的例子：

%{
#include "stdio.h"
%}
%%
[/n]                  ;
A                     {printf("ONE/n");};
AA                    {printf("TWO/n");};
AAAA                  {printf("THREE/n");};
%%

此时，如果输入内容：

[root@localhost liweitest]# cat file1.txt
AAAAAAA

[root@localhost liweitest]# ./parser < file1.txt
THREE
TWO
ONE

Lex分析词法时，是逐个字符进行读取，自上而下进行规则匹配的，读取到第一个A字符
时，遍历后发现三个规则皆匹配成功，Lex会继续分析下去，读至第五个字符时，发现
"AAAA"只有一个规则可用，即按行为进行处理，以此类推。可见Lex会选择最长的字符
匹配规则。

如果将规则
AAAA                  {printf("THREE/n");};
改为
AAAAA                 {printf("THREE/n");};

 ./parser < file1.txt 输出结果为：
THREE
TWO

再来一个特殊的例子：

%%
title                 showtitle();
[a-zA-Z][a-zA-Z0-9]*  printf("Var     : %s/n",yytext);
%%

并输入title，Lex解析完后发现，仍然存在两个规则，这时Lex只会选择第一个规则，下面
的则被忽略的。这里就体现了Lex的顺序优先级。把这个例子稍微改一下：

%%
[a-zA-Z][a-zA-Z0-9]*  printf("Var     : %s/n",yytext);
title                 showtitle();
%%

Lex编译时会提示：warning, rule cannot be matched.这时处理title字符时，匹配
到第一个规则后，第二个规则就无效了。

再把刚才第一个例子修改下，加深下印象！

%{
#include "stdio.h"
%}
%%
[/n]                  ;
A                     {printf("ONE/n");};
AA                    {printf("TWO/n");};
AAAA                  {printf("THREE/n");};
AAAA                  {printf("Cannot be executed!");};

./parser < file1.txt 显示效果是一样的，最后一项规则肯定是会忽略掉的。

 

C.规则部分的使用变量

且看下面示例：

%{
#include "stdio.h"
int linenum;
%}
int                   [0-9]+
float                 [0-9]*/.[0-9]+
%%
{int}                 printf("Int     : %s/n",yytext);
{float}               printf("Float   : %s/n",yytext);
.                     printf("Unknown : %c/n",yytext[0]);
%%

在%}和%%之间，加入了一些类似变量的东西，注意是没有;的，这表示int，float分
别代指特定的含义，在两个%%之间，可以通过{int}{float}进行直接引用，简化模
式定义。

(3) 用户子程序部分

最后一个%%后面的内容是用户子程序部分，可以包含用C语言编写的子程序，而这些子程序可以用在前面的动作中，这样就可以达到简化编程的目的。这里需要注意的是，当编译时不带-ll选项时，是必须加入main函数和yywrap(yywrap将下后面说明)。如：

...
%%
showtitle()
{
printf("----- Lex Example -----/n");
}

int main()
{
  linenum=0;
  yylex(); /* 进行Lex分析 */
  printf("/nLine Count: %d/n",linenum);
  return 0;
}
int yywrap()
{
return 1;
}

三.Lex(Lexical Analyzar) 一些的内部变量和函数

内部预定义变量：

yytext   char *  当前匹配的字符串
yyleng   int     当前匹配的字符串长度
yyin     FILE *  lex当前的解析文件，默认为标准输入
yyout    FILE *  lex解析后的输出文件，默认为标准输出
yylineno int     当前的行数信息

内部预定义宏：

ECHO     #define ECHO fwrite(yytext, yyleng, 1, yyout)  也是未匹配字符的
         默认动作
        

内部预定义的函数：

int yylex(void)    调用Lex进行词法分析
int yywrap(void)   在文件(或输入)的末尾调用。如果函数的返回值是1，就停止解
                   析。 因此它可以用来解析多个文件。代码可以写在第三段，这
                   样可以解析多个文件。 方法是使用 yyin 文件指针指向不同的
                   文件，直到所有的文件都被解析。最后，yywrap() 可以返回1
                   来表示解析的结束。
           
           
lex和flex都是解析Lex文件的工具，用法相近，flex意为fast lexical analyzer generator。
可以看成lex的升级版本。

相关更多内容就需要参考flex的man手册了，十分详尽。

 

四.关于Lex的一些综述

Lex其实就是词法分析器，通过配置文件*.l，依据正则表达式逐字符去顺序解析文件，
并动态更新内存的数据解析状态。不过Lex只有状态和状态转换能力。因为它没有堆栈，
它不适合用于剖析外壳结构。而yacc增加了一个堆栈，并且能够轻易处理像括号这样的
结构。Lex善长于模式匹配，如果有更多的运算要求就需要yacc了。