标准纯C++实现简单的词法分析器(一)

一、思路：

   使用容器vector<string> 来缓冲文件内容，以便增加效率，以前的总是用getline(FILE*, ...) 或者别的，总之，都要从磁盘不断读取，不断操作，效率肯定不高。 这个思路主要是受到《C++ Primer》3 的影响，其中有个文本操作，采用这种方式。

  从文件中具体分离出一个个字符，当然也就简单的多了。
   然后再使用状态机，来实现 标识符提取， 这种方式的优点是可以很容易的根据你的需要来扩充或者修改。而且清晰明了哦。
二、实现(部分)：
1使用标准的纯C++实现， 估计可以在 Unix 上兼容。不过没有测试；一下是包含头文件：
#include <fstream>
#include <vector>
#include <string>
#include <iostream>
没有任何 linux 或者 windows  等操作系统特有的东西。
2 tokenizer 类定义。 主要实现从文件中提取单个的字符。

/**:    class Tokenizer
*    将源文件直接读入到std::vector<stirng> lines_of_source
*    中，来增加操作上的时间效率，代价是空间！
*  重要接口 char getNextChar() & void unGetNextChar()
*    分别从源文件中提取    return  lines_of_source[lineno_-1][linepos++];
*    出一个字符 & 退回一个字符。
*/
class Tokenizer {
public:
    Tokenizer(const std::string& filename);    // use filename.c_str()
    virtual    ~Tokenizer();

    char getNextChar();                // ...primary interface to scanner...
    void unGetNextChar();

    bool    is_good() const { return is_good_; }  // very importent   
    std::vector<std::string>::size_type    lineno() const  // line start with 1
    {    return lineno_; }   

protected:
    // interface of insert the trace source messages;
    void    insert_list(const std::string& msg);
    void    insert_list(const char*    msg); //主要是用来保存词法分析产生的文件。

    // read and store file to vector<string>,
    void    read_file(const char* filename);
    void    store_file(ifstream& is);

    // 没有找出一个好的方案来解决 "..." 型的参数，
    // 只能用借用msg_temp[]来调用 sprintf 了
    char msg_temp[512];   
    string    source_name;    // record the source file name;
    std::vector<std::string>    list_msg_;    // trace source   

    bool    is_good_;    // 帮助测试是否能够正常工作！   
private:   
    // source file
    std::vector<std::string>    lines_of_source;
    std::vector<std::string>::size_type    lineno_;    // record source file line no

    int        bufsize;    // record a line size
    int        linepos;    // current line position
};
其中借助很多 《编译原理及实践》这本书的思想和方法。其中很多东西都是可以不要的，当然
我是为了能够产生一个排版清晰的list文件而加如的。
3 tokenizer 类实现(部分)：

以下两部分将文件读入，并且存储在 lines_of_source中。
/**:    read_file & store_file
*    author:    lonelyforest;
*    data:    2006.03.16
*/
//-----------------------------------------------------------------------------
void Tokenizer::read_file(const char *filename)
{
    ifstream infile(filename);

    if ( !infile )
    {       
        is_good_ = false;
       
        string    errMsg = "Open source file fail!   ";
        errMsg += filename;
        outputMsg(-1, errMsg.c_str());
        outputMsg(-1, "Compile must be stop, and check the file wether exists!");
       
        insert_list(errMsg);
        insert_list("/nCompile must be stop, and check the file wether exists!/n");
    }
    else
    {
        store_file(infile);
    }
}

void Tokenizer::store_file(ifstream &is)
{
    string linetext;
    while(getline(is, linetext ))
    {
        linetext += "/n";
        lines_of_source.push_back(linetext);
    }
}


以下是两个主要接口函数的实现：
行标号是从1开始的，以免用户不理解。
char Tokenizer::getNextChar()
{   
    if ( !(linepos < bufsize ))
    {
        ++lineno_;    // now, lineno_ start with 1 !!

        if ( lineno_ > lines_of_source.size())
        {
            return EOF;
        }

        linepos = 0;
        bufsize = lines_of_source[lineno_ -1].length();

        if ( EchoSource )
        {      // 用于在 list 文件中记录源文件
            sprintf(msg_temp, "%4d: %s", lineno_, lines_of_source[lineno_-1].c_str());
            insert_list(msg_temp);
        }
    }


    return lines_of_source[lineno_-1][linepos++];
}

// 退回一个字符。
void Tokenizer::unGetNextChar()
{
    linepos--;
}


主要标识符分析实现部分待续 ......