Java词法分析器的设计和实现 设计篇

词法分析是编译原理课程的一个的部分，通过词法分析器的实现，我们可以更好的理解程序的编译过程。

功能描述：

使用DFA实现词法分析器的设计;

 

实现对Java源程序中注释的过滤;

利用两对半缓冲区从文件中逐一读取单词;

词法分析结果属性字流存放在独立文件(文件名：scanner_output)中;

统计源程序每行单词的个数和整个源文件单词个数;

具有报告词法错误和出错位置（源程序行号和该行字符）的功能;

DFA设计：

 

关键字、布尔常量、标识符：

常量：

字符：

字符串：

间隔符：

运算符：

转义字符及其它：

 

流程图设计：

主要数据定义：

 

//缓冲区大小#define MAX_PATH 128#define BUF_SIZE 128#define HALF_BUF_SIZE 64#define MAX_LENGTH 128//输入输出文件指针FILE *inFile, *outFile;//输入输出文件路径char inputPath[MAX_PATH]={'/0'};char outputPath[MAX_PATH]={'/0'};//输入缓冲区char inputBuf[BUF_SIZE]={'/0'};//扫描到的单词char scanWord[MAX_LENGTH]={'/0'};//属性值char wordValue[6]={'/0'};//属性类别char wordType[64]={'/0'};//输入缓冲区编号int numberOfBuf=0;//每行单词数int numberOfWords=0;//总单词数int numberOfAllWords=0;//行号int lineNumber=1;//总行数int numberOfLines=1;//缓冲区当前位置的字符int scanCount=0;//单词的索引int indexOfWord=0;//状态机状态int state=0;//缓冲区读取标志int bufReadFlag=0;// ':' 类型标志，为'：'，为'？：' 标识int colonTypeFlag=0;//关键字，最长为（synchronize）char keyWords[50][13]={ "abstract","boolean","break","byte","case","catch","char","class", "const","continue","default","do","double","else","extends","false", "final","finally","float","for""goto","if","implements","import", "instanceof","int","interface","long","native","new","null","package", "private","protected","public","return","short","static","super","switch", "synchronized","this","throw","throws","transient","true","try","void", "volatile","while"}; 

主要函数定义：

//读取文件数据到输入缓冲区, 两个半缓冲区，每次读入半个缓冲区大小void Scanner()//从缓冲区内读取单个字符char ReadChar()//回退读取一个字符void UntRead()//scanWord重新赋值void ReInit()//判断'?' 之后':' 是否存在,只适用于非嵌套的情况bool FindColon()//输出属性字流void outputWordStream(int index)//判断读取到的字符串是关键字、布尔常量、标识符int JudgeStringType()//判断是否是间隔符{}、[]/()/.、,int JudgeDelimeterType()//有限状态自动机void DFA()//主函数int main() 

由于某些原因使图片显示比例失调，还请见谅！