JavaScript 编写的迷你 Lisp 解释器

【感谢@李欲纯 的热心翻译。如果其他朋友也有不错的原创或译文，可以尝试推荐给伯乐在线。】

Little Lisp是一个解释器，支持函数调用、lambda表达式、 变量绑定(let)、数字、字符串、几个库函数和列表(list)。我写这个是为了在Hacker School(一所位于纽约的程序员培训学校)的一个闪电秀中展示写一个解释器不是很难。一共只有116行的JavaScript代码，下文我会解释它是如何运行的。

 

首先，让我们学习一些Lisp。

Lisp基础

这是一个原子，最简单的Lisp形式：

1

1

这是另一个原子，一个字符串：

1

"a"

这是一个空列表：

()

这是一个包含了一个原子的列表：

1

(1)

这是一个包含了两个原子的列表：

1

(1 2)

这是一个包含了一个原子和另一个列表的列表：

1

(1 (2))

这是一个函数调用。函数调用由一个列表组成，列表的第一个元素是要调用的函数，其余的元素是函数的参数。函数first接受一个参数(1 2)，返回1。

1

2

3

(first (1 2))

 

 => 1

这是一个lambda表达式，即一个函数定义。这个函数接受一个参数x，然后原样返回它。

1

2

(lambda (x)

 x)

这是一个lambda调用。lambda调用由一个列表组成，列表的第一个元素是一个lambda表达式，其余的元素是由lambda表达式所定义的函数的参数。这个lambda表达式接受一个参数"lisp"并返回它。

1

2

3

4

5

((lambda (x)

  x)

 "Lisp")

 

 => "Lisp"

 

Little Lisp是如何运行的

写一个Lisp解释器真的很容易。

Little Lisp的代码包括两部分：分析器和解释器

分析器

分析分两个阶段：分词(tokenizing)和加括号(parenthesizing)。

tokenize()接受一个Lisp字符串，在每个括号周围加上空格，然后用空格作为分隔符拆分整个字符串。举个例子，它接受((lambda (x) x) "Lisp")，将它变换为( ( lambda ( x ) x ) "Lisp" )，然后进一步变换为['(', '(', 'lambda', '(', 'x', ')', 'x', ')', '"Lisp"', ')']。

1

2

3

4

5

6

vartokenize = function(input) {

  returnreplace(/\(/g, ' ( ')

        .replace(/\)/g,' ) ')

        .trim()

        .split(/\s+/);

};

parenthesize()接受由tokenize()产生的词元列表，生成一个嵌套的数组来模拟出Lisp代码的结构。在这个嵌套的数组中的每个原子会被标记为标识符或文字表达式。例如，['(', '(', 'lambda', '(', 'x', ')', 'x', ')', '"Lisp"', ')']被变换为：

1

2

3

[[{ type: 'identifier', value: 'lambda' }, [{ type: 'identifier', value: 'x' }],

  { type: 'identifier', value: 'x' }],

 { type: 'literal', value: 'Lisp' }]

parenthesize()一个挨一个地遍历词元。如果当前词元是左括号，就开始构建一个新的数组。如果当前词元是原子，就标记其类型并将其添加到当前数组中。如果当前词元是右括号，就停止当前数组的构建，继续构建外层的数组。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

varparenthesize = function(input, list) {

     if(list === undefined) {

       returnparenthesize(input, []);

     }else{

       vartoken = input.shift();

       if(token === undefined) {

         returnlist.pop();

       }elseif (token === "(") {

         list.push(parenthesize(input, []));

        returnparenthesize(input, list);

      }elseif (token === ")") {

        returnlist;

      }else{

        returnparenthesize(input, list.concat(categorize(token)));

      }

    }

};

当parenthesize()第一次被调用时，input参数包含由tokenize()返回的词元列表数组。例如：

1

['(', '(', 'lambda', '(', 'x', ')', 'x', ')', '"Lisp"', ')']

第一次调用parenthesize()时，参数list是undefined，第2-3行运行，递归调用parenthesize()，list被设置为空数组。

在递归中，第5行运行，input的第一个左括号被移除。第9行中，传一个新的空数组给递归调用，开始一个新的空列表。

在新的递归中，第5行运行，从input中移除了另一个左括号。与前面类似，第9行中，传另一个新的空数组给递归调用，开始另一个新的空列表。

继续进入递归，现在input是['lambda', '(', 'x', ')', 'x', ')', '"Lisp"', ')']。第14行运行，token被设置为lambda，调用categorize()函数并传递lambda作为参数。categorize()的第7行运行，返回一个对象，其type属性被设置为identifier，value属性被设置为lambda。

1

2

3

4

5

6

7

8

9

varcategorize = function(input) {

  if(!isNaN(parseFloat(input))) {

     return{ type:'literal', value: parseFloat(input) };

   }elseif (input[0] === '"'&& input.slice(-1) === '"') {

     return{ type:'literal', value: input.slice(1, -1) };

   }else{

    return{ type:'identifier', value: input };

  }

};

parenthesize()的第14行向list中加入由categorize()返回的对象，然后用input的剩余元素和list进一步递归。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

varparenthesize = function(input, list) {

  if(list === undefined) {

    returnparenthesize(input, []);

 }else{

    vartoken = input.shift();

    if(token === undefined) {

      returnlist.pop();

    }elseif (token === "(") {

      list.push(parenthesize(input, []));

      returnparenthesize(input, list);

     }elseif (token === ")") {

      returnlist;

    }else{

      returnparenthesize(input, list.concat(categorize(token)));

    }

  }

 };

在递归中，下一个词元是括号。parenthesize()的第9行用一个新的空数组递归创建一个新的空列表，进入新的递归，这时input是['x', ')', 'x', ')', '"Lisp"', ')']。第14行运行，token被设置成x，这样创建了一个新的对象，其值为x，类型为identifier，然后将这个对象加入到list中，然后接着递归。

在递归中，下一个词元是右括号，第12行运行，返回完成了的list：[{ type: 'identifier', value: 'x' }]。

parenthesize()继续递归直到它处理完全部的输入词元，最后返回由包含了类型信息的原子所组成的嵌套数组。

parse()是tokenize()和parenthesize()的组合调用：

1

2

3

varparse = function(input) {

  returnparenthesize(tokenize(input));

};

如果原始的输入给的是((lambda (x) x) "Lisp")，则分析器给出的最后输出是：

1

2

3

[[{ type: 'identifier', value: 'lambda' }, [{ type: 'identifier', value: 'x' }],

  { type: 'identifier', value: 'x' }],

 { type: 'literal', value: 'Lisp' }]

 

解释器

在分析结束后，解释就开始了。

interpret()接收parse()的输出并执行它。提供上例中的输出，interpret()会构造一个lambda表达式，然后用"Lisp"作为参数调用它。lambda调用会返回"Lisp"，这就是整个程序的输出。

除了要执行的输入外，interpret()还接收一个执行上下文。执行上下文是变量和变量对应的值所存储的地方。当一段Lisp代码被interpret()执行时，执行上下文包含着这段代码可访问的变量。

这些变量是分层存储的。当前作用域的的变量处在最底层，在包含域中的变量处在上一层，包含域的上一层包含域中的变量处于更上层，依次类推。例如，在下面的代码中：

1

2

3

4

5

((lambda (a)

  ((lambda (b)

    (b a))

   "b"))

 "a")

第3行，执行上下文有两个活动的作用域。内层的lambda形成了当前作用域。外层的lambda形成了包含作用域。当前作用域中b被绑定到"b"，包含作用域中a被绑定到"a"。当第3行运行时，解释器尝试在作用域中去查找b，它检查当前作用域，发现了b并返回它的值。还是在第3行上，解释器尝试去查找a，它检查当前作用域，结果没找到a，所以它尝试去包含域找，在那里它找到了a并返回它的值。

在Little Lisp中，执行上下文用一个对象来表示，这个对象通过调用Context构造函数来生成。这个函数接受scope参数，即一个由在当前作用域中的变量和值组成的对象；还接受parent参数，如果parent是undefined，作用域即位于顶层，或者说是全局的。

1

2

3

4

5

6

7

8

9

10

11

12

varContext = function(scope, parent) {

   this.scope = scope;

   this.parent = parent;

 

   this.get= function(identifier) {

     if(identifier inthis.scope) {

       returnthis.scope[identifier];

     }elseif (this.parent !== undefined) {

       returnthis.parent.get(identifier);

    }

  };

};

我们已看到((lambda (x) x) "Lisp")是如何被分析的，现在让我们看看分析过后的代码是如何被执行的。

1

2

3

4

5

6

7

8

9

10

11

var interpret = function(input, context) {

 if (context === undefined) {

   return interpret(input, new Context(library));

   } else if (input instanceof Array) {

  return interpretList(input, context);

 } else if (input.type === "identifier") {

  return context.get(input.value);

 } else {

   return input.value;

 }

};

interpret()第一次被调用时，context是undefined，第2-3行运行，创建一个执行上下文。

当初始上下文被实例化时，构造函数接受了一个叫library的对象。这个对象包含了内建在语言中的函数：first, rest和print。这些函数是用JavaScript写的。

interpret()用原始的输入和新的上下文进行递归。

input包含了上节中例子产生的输出：

1

2

3

[[{ type: 'identifier', value: 'lambda' }, [{ type: 'identifier', value: 'x' }],

  { type: 'identifier', value: 'x' }],

 { type: 'literal', value: 'Lisp' }]

因为input是数组而且context已定义，第4-5行运行，interpretList()被调用。

1

2

3

4

5

6

7

8

9

10

11

12

varinterpretList = function(input, context) {

     if(input[0].value inspecial) {

       returnspecial[input[0].value](input, context);

     }else{

       varlist = input.map(function(x) { returninterpret(x, context); });

       if(list[0] instanceofFunction) {

         returnlist[0].apply(undefined, list.slice(1));

       }else{

         returnlist;

      }

    }

};

在interpretList()中，第5行遍历input数组，对每个元素调用interpret()。当interpret()在lambda定义上调用时，interpretList()再一次被调用。这次，interpretList()的input参数为：

1

2

[{ type: 'identifier', value: 'lambda' }, [{ type: 'identifier', value: 'x' }],

  { type: 'identifier', value: 'x' }]

interpretList()的第3行被调用，因为数组的第一个元素lambda是特殊形式。lambda()被调用来创建lambda函数。

1

2

3

4

5

6

7

8

9

10

11

12

13

varspecial = {

     lambda:function(input, context) {

       returnfunction() {

         varlambdaArguments = arguments;

         varlambdaScope = input[1].reduce(function(acc, x, i) {

           acc[x.value] = lambdaArguments[i];

           returnacc;

         }, {});

 

        returninterpret(input[2], newContext(lambdaScope, context));

      };

    }

};

special.lambda()接受input中定义lambda的部分，返回一个函数，当这个函数被调用时，会对一些参数调用这个lambda函数。

第3行开始lambda调用函数的定义。第4行保存了传递给lambda调用的参数。第5行开始为lambda调用创建一个新的作用域，收集input中定义lambda的参数的部分: [{ type: 'identifier', value: 'x' }]，针对input中的每一个lambda形参和传递给lambda的对应实参，往lambda作用域中添加一个键值对。第10行对lambda的主体调用interpret()：{ type: 'identifier', value: 'x' }。它传递给的lambda上下文包含lambda的作用域和父上下文。

lambda现在就变成了被special.lambda()返回的函数。

interpretList() 继续遍历input数组，对列表的第二个元素调用interpret()：字符串"Lisp"。

1

2

3

4

5

6

7

8

9

10

11

varinterpret = function(input, context) {

     if(context === undefined) {

       returninterpret(input, newContext(library));

     }elseif (input instanceofArray) {

       returninterpretList(input, context);

     }elseif (input.type === "identifier") {

       returncontext.get(input.value);

     }else{

       returninput.value;

    }

};

interpret()的第9行运行，这行做的事情仅仅是返回字面量对象的value属性'Lisp'。interpretList()的第5行的map操作至此完成。list成为：

1

2

[function(args) { /* code to invoke lambda */ },

 'Lisp']

interpretList()的第6行运行，发现List的第一个元素是一个Javascript函数，这意味着list是一个函数调用。第7行运行，调用lambda函数，并将list的剩余部分作为参数传递。

1

2

3

4

5

6

7

8

9

10

11

12

varinterpretList = function(input, context) {

     if(input[0].value inspecial) {

       returnspecial[input[0].value](input, context);

     }else{

       varlist = input.map(function(x) { returninterpret(x, context); });

       if(list[0] instanceofFunction) {

         returnlist[0].apply(undefined, list.slice(1));

       }else{

         returnlist;

      }

    }

};

在lambda调用函数中，第8行对lambda主体调用interpret()，{ type: 'identifier', value: 'x' }。

1

2

3

4

5

6

7

8

9

function() {

     var lambdaArguments = arguments;

     var lambdaScope = input[1].reduce(function(acc, x, i) {

       acc[x.value] = lambdaArguments[i];

       return acc;

     }, {});

 

     return interpret(input[2], new Context(lambdaScope, context));

};

interpret()的第6行发现input是一个标识符类型的原子，第7行去上下文里查找标识符x，返回'Lisp'。

1

2

3

4

5

6

7

8

9

10

11

varinterpret = function(input, context) {

     if(context === undefined) {

       returninterpret(input, newContext(library));

     }elseif (input instanceofArray) {

       returninterpretList(input, context);

     }elseif (input.type === "identifier") {

       returncontext.get(input.value);

     }else{

       returninput.value;

    }

};

'Lisp'被lambda调用函数返回，接着被interpretList()返回，接着被interpret()返回，就是这样。

全部的代码见GitHub repository。还可以看看lis.py，一个优秀而简单的Scheme解释器，由Peter Norvig用Python编写。