Lex 编译器入门

Lex工具
-------
Lex工具是一种词法分析程序生成器，它可以根据词法规则说明书的要求来生成单词识别程序，由该程序识别出输入文本中的各个单词。
1、lex程序的结构

-定义部分
-规则部分
-用户子程序部分

其中规则部分是必须的，定义和用户子程序部分是任选的。

(1) 定义部分
定义部分起始于"%{"符号，终止于"%}"符号，其间可以是包括include语句、声明语句在内的C语句。
%{
#include "stdio.h"
#include "y.tab.h"
extern int lineno;
%}

(2) 规则部分
规则部分起始于"%%"符号，终止于"%%"符号，其间则是词法规则。词法规则由模式和动作两部分组成。模式部分可以由任意的正则表达式组成，动作部分是由C语言语句组成，这些语句用来对所匹配的模式进行相应处理。需要注意的是，lex将识别出来的单词存放在yytext []字符数据中，因此该数组的内容就代表了所识别出来的单词的内容。

%%
[] {;}
[0-9]+.?[0-9]*.[0-9]+
{ sscanf(yytext,"%1f", &yylval.val);
return NUMBER; }
 { lineno++;return '' ''; }
. { return yytex+[0]; }
%%

(3) 用户子程序部分
用户子程序部分可以包含用C语言编写的子程序，而这些子程序可以用在前面的动作中，这样就可以达到简化编程的目的。下面是带有用户子程序的lex程序片段。
"/*" skipcmnts();
. /* rest of rules */
%%
skipcmnts()
{
for ( ; ; )
{
while (input()!=''*'');
if(input()!=''/'')
unput(yytext[yylen-1]);
else return;
} 

 以上是这个工具的简要说明。

我在这里以《编译原理》（龙书）的习题为例，
3.11 编写一个Lex程式，该程式复制一个文件，并将每一个非空的空白符序列用一个空格代替。
首先，这个“非空的空白符序列”是指由空格和制表符号组成的序列，其正则表达式是[ /t]，大家注意在前面有一个空格。
再则就是做一个替换操作了。

代码为：

%{
#include "stdio.h"
%}

delim    [ ]
ws    {delim}+

%%
{ws} printf(" ");
. printf("%c",yytext[0]);
%%

存为  P3-11.l
编译过程
lex P3-11.l
cc -c lex.yy.c
cc lex.yy.o -ll -o run

使用过程
run < in.txt
输入文件内容

I am     a best player   in the   world,
And         I  am very    sorry     to trouble you.

Hehe.

输出结果为

I am a best player in the world,
And I am very sorry to trouble you.

Hehe.

最后我提供一个脚本，方便编译。
我的系统环境是
Ubuntu 7.10
flex 2.5.33

安装Lex过程
sudo apt-get install flex

# Copyright (C) 2003-2008 Wang Pengcheng <[e-mail]>
#!/usr/bash
lex $1 
cc -c lex.yy.c
cc lex.yy.o -ll -o run
rm lex.yy.*
rm *~