自己动手写编译器之TINY编译器词法分析

  TINY是《编译原理与实践》一书中介绍的教学编程语言，该语言缺少真正程序设计语言的主要特征，但足以例证编译器的主要特征了。本文将介绍该编译器的实现过程，完整的实现代码loucomp_linux中，供编译原理初学者参考。

小试牛刀：
下载源码后，进入loucomp_linux, 在命令行输入
$make
便生成tiny程序，然后输入
$tiny sample.tny
tiny 将sample.tny中的TINY源码生成tm指令。tm指令是TM虚拟机的汇编代码，TM虚拟机的源码在tm.c中，输入如下指令进行编译：
$gcc tm.c -o tm
有了tm,便可执行上面生成的sample.tm指令:
$tm sample.tm
该命令装入对了tm汇编，接着就可以交互的运行TM模拟程序了。
sample.tny是用TINY编写的求阶乘代码，按以下命令就可得到7的阶乘了
$tm sample.tm
TM  simulation (enter h for help)...
Enter command: go
Enter value for IN instruction: 7
OUT instruction prints: 5040
HALT: 0,0,0
Halted
Enter command: quit
Simulation done.

接下来几篇文件讲一步步介绍该编译器和虚拟机的实现。

TINY语言的特证

1、TINY语言无过程，无声明，所有的变量都是整形。
2、它只有两个控制语句：if语句和repeat语句。if语句有一个可选的else部分且必须由关键字end结束。
3、read和write完成输入和输出
4、"{"和"}"中的语句为注释，但注释不能嵌套
程序清单1是该语言的一个求阶乘的编程示例。
程序清单1 

{ Sample program  in TINY language -  computes factorial}read x; { input an integer }if 0 < x then { don't compute if x <= 0 }  fact := 1;  repeat    fact := fact * x;    x := x - 1  until x = 0;  write fact  { output factorial of x }end

开发环境和工具：
本文的开发环境为Ubuntu, 使用lex进行词法分析，yacc进行语法分析，gcc来作为编译器。

词法分析
1、关键字: if, then, else, end, repeat, until, read, write.
所有的关键字都是保留字，且全部小写。
2、专用符号： +  - * / = < ( ) ; :=
这里只用了<，　没有使用>，:=为赋值符号
3、其它标记是ID和NUM, 通过下列正则表达式定义：
ID = letter+
NUM = digit+
letter = [a-zA-Z]
digit = [0-9]
大写和小写是有区别的
4、空格是由空白、制表符和新行组成。它通常被忽略，除了它必须分开ID、NUM关键字
5、注释用{...}围起来，且不能嵌套。
DFA
TINY扫描程序的DFA如下图所示：

词法扫描程序的实现：
1、定义记号，globals.h：

typedef enum     /* book-keeping tokens */   {ENDFILE,ERROR,    /* reserved words */    IF,THEN,ELSE,END,REPEAT,UNTIL,READ,WRITE,    /* multicharacter tokens */    ID,NUM,    /* special symbols */    ASSIGN,EQ,LT,PLUS,MINUS,TIMES,OVER,LPAREN,RPAREN,SEMI   } TokenType;

2、lex词法分析代码 tiny.l

%{#include "globals.h"#include "util.h"#include "scan.h"/* lexeme of identifier or reserved word */char tokenString[MAXTOKENLEN+1];%}%option noyywrapdigit       [0-9]number      {digit}+letter      [a-zA-Z]identifier  {letter}+newline     \nwhitespace  [ \t]+%%"if"            {return IF;}"then"          {return THEN;}"else"          {return ELSE;}"end"           {return END;}"repeat"        {return REPEAT;}"until"         {return UNTIL;}"read"          {return READ;}"write"         {return WRITE;}":="            {return ASSIGN;}"="             {return EQ;}"<"             {return LT;}"+"             {return PLUS;}"-"             {return MINUS;}"*"             {return TIMES;}"/"             {return OVER;}"("             {return LPAREN;}")"             {return RPAREN;}";"             {return SEMI;}{number}        {return NUM;}{identifier}    {return ID;}{newline}       {lineno++;}{whitespace}    {/* skip whitespace */}"{"             { char c;                  do                  { c = input();                    if (c == EOF) break;                    if (c == '\n') lineno++;                  } while (c != '}');                }.               {return ERROR;}%%TokenType getToken(void){ static int firstTime = TRUE;  TokenType currentToken;  if (firstTime)  { firstTime = FALSE;    lineno++;    yyin = source;    yyout = listing;  }  currentToken = yylex();  strncpy(tokenString,yytext,MAXTOKENLEN);  if (TraceScan) {    fprintf(listing,"\t%d: ",lineno);    printToken(currentToken,tokenString);  }  return currentToken;}

规则部分定义了DFA的转换，辅助函数定义了getToken方法，该函数调用yylex()来获取匹配到的标识符，然后复制对应的字符串，最后打印识别到的字符串和标识符。

编译运行词法分析程序
词法扫描部分包含以下C文件， 左边为头文件，右边为代码文件
globals.h     main.c
util.h util.c
scan.h tiny.l
sample.tny为tiny语言编写的求阶乘函数，本文及后续文章都以该文件作为测试文件。
globas.h头文件包含了数据类型的定义和编译器使用的全局变量。main.c为编译器的主程序，分配和初始化全程变量。
输入命令：
$make
$./tiny.out sample.tny
输出：

TINY COMPILATION: sample.tny5: reserved word: read5: ID, name= x5: ;6: reserved word: if6: NUM, val= 06: <6: ID, name= x6: reserved word: then7: ID, name= fact7: :=7: NUM, val= 17: ;8: reserved word: repeat9: ID, name= fact9: :=9: ID, name= fact9: *9: ID, name= x9: ;10: ID, name= x10: :=10: ID, name= x10: -10: NUM, val= 111: reserved word: until11: ID, name= x11: =11: NUM, val= 011: ;12: reserved word: write12: ID, name= fact13: reserved word: end14: EOF

所有的标识付都被识别，对应的值也打印了。

有了词法分析程序，下一篇文章将介绍TINY的语法分析。