从Tensorflow代码中理解LSTM网络

目录

• RNN
• LSTM

参考文档与引子

---

缩略词 
RNN (Recurrent neural network) 循环神经网络 
LSTM (Long short-term memory) 长短期记忆人工神经网络

当我们在谷歌搜索LSTM这个关键字时，搜索结果的第一条就是一篇非常著名的博客 Understanding LSTM Networks 来介绍LSTM网络，这篇博客的作者是 Christopher Olah，在谷歌 Google Brain 工作。这篇博客的中文翻译版为 [译] 理解 LSTM 网络。

Tensorflow是一个由谷歌开发的基于Python语言的开源机器学习库。它具有跨平台（手机／个人电脑／服务器都可使用，CPU／GPU随意切换），高效率，高度自定义化，可以充分利用计算机性能等特点，在近几年中越来越受到机器学习研究者的喜欢，许多大公司也都在使用Tensorflow，诸如 ARM，snapchat，Uber，京东 等。

在本篇博客中，我将尝试通过解释Tensorflow中RNN/LSTM部分的源码来帮助大家深入理解LSTM网络的运作，同时也是为了来帮助我自己更好的理解LSTM网络。这是本人尝试写的第一篇博客，欢迎大家来加来指正文中的错误或者不合理之处，也欢迎提出各种各样的建议或意见。谢谢！

LSTM与RNN的关系

---

有一篇非常有名的博客The Unreasonable Effectiveness of Recurrent Neural Networks 详细介绍了什么是RNN并且作者开源一个基于LSTM的多层RNN神经网络项目(使用了Torch)，强烈建议没有看过的人或者对于RNN概念不是非常清楚的人进来看看。这篇博客还有中文翻译版本：链接

LSTM从本质上来说并不是一个完整的神经网络模型，它其实是对RNN神经网络中的神经元／隐含单元（CELL／Hidden unit）的一种变形与改进。在这种改变当中，LSTM在神经元中加入了一个状态（State）的概念用来储存长期的记忆（具体LSTM结构将会在博客的后面有介绍）。在很多网上面介绍LSTM的教程或者博客当中，他们其实都只给了LSTM神经元的结构，这是属于RNN框架中的一部分。所以说如果想要理解LSTM我们首先需要理解什么是RNN。

RNN

---

本篇博客的主要目的是在于将Tensorflow中的代码与LSTM和RNN的理论公式对接起来。让大家可以更容易的使用Tensorflow来开发属于自己的神经网络，或者让大家可以对LSTM与RNN有一个更加直观的从代码方面的理解。所以说本博客假设读者已经对LSTM与RNN有一定的了解，我将会直接从图片开始来解读RNN和LSTM。对于那些对RNN和LSTM没有概念的人，我建议可以从参考文档中的那篇博客开始读起。

首先让我们从全局查看RNN神经网络是如何运作的

RNN 网络

图中的 xx 代表的是输入， zz 代表的是输出，tt 代表的是一段序列中任意的一个时间，nn 代表的是当前序列的总长度。

下面让我们取上图中最中间的神经元为例来分析普通RNN神经元中的运作方式：

RNN 神经元／隐含单元（CELL / Hidden unit）

图中的 xtxt 代表的是当前时间片段的输入， ztzt 代表的是当前时间片段的输出，ht−1ht−1 代表的是上一个时间片段的隐含状态输出，htht 代表的是当前时间片段的隐含状态输出。中间的两个圆圈里的 ff 代表的意思为一个非线性的点乘操作（element-wise non-linearity），可以为一个sigmoid操作或者是一个hyperbolic tangent的操作。

基础等式

ht=f(Wxhxt+Whhht−1+bh)ht=f(Wxhxt+Whhht−1+bh)

zt=f(Whzht+bz)zt=f(Whzht+bz)

对应的Tensorflow代码（Github）

def __call__(self, inputs, state, scope=None):    """Most basic RNN: output = new_state = activation(W * input + U * state + B)."""    with vs.variable_scope(scope or type(self).__name__):  # "BasicRNNCell"      output = self._activation(_linear([inputs, state], self._num_units, True))    return output, output

上述代码块对应的就是一个普通RNN神经元中的操作

"""Most basic RNN: output = new_state = activation(W * input + U * state + B)."""

下面是上述代码中的变量与基础等式中的变量的对应表

代码变量基础等式变量new_statehthtWWxhWxhinputxtxtUWhhWhhstateht−1ht−1Bbhbh

output = self._activation(_linear([inputs, state], self._num_units, True))

下面是上述代码对应的解释

代码解释self._activation()激活函数，等同于基础等式中的 ff 操作，在tensorflow的代码当中使用的是tanh的激活函数_linear()将传入的参数进行一个线性叠加的步骤 
_linear([a,b], num_units, True) = Wa+Ub+BWa+Ub+B 
= Wa1a1+Wa2a2+...+Wanan+Ub1b1+Ub2b2+...+UbnbnWa1a1+Wa2a2+...+Wanan+Ub1b1+Ub2b2+...+Ubnbn

我们首先假设我们数据
批尺寸（batch size） = 10 
输入数据大小（input size）= 300
隐含单元数（number of unit）= 200
那么
WW 的大小为[输入数据大小(input size)300, 单元数(number of unit)200]
UU 的大小为[隐含单元数(number of unit)200，隐含单元数(number of unit)200]
aa 的大小为[批尺寸大小(batch size)10, 输入数据大小(input size)300]
bb 的大小为[批尺寸大小(batch size)10, 隐含单元数(number of unit)200]
BB 的大小为[隐含单元数(number of unit)200]
（注意：在tensorflow代码当中，实际上tensorflow做的操作是 a∗W+b∗U+Ba∗W+b∗U+B。你会发现当完成操作 a∗W+b∗Ua∗W+b∗U时，矩阵的大小是[批尺寸大小(batch size)10, 隐含单元数(number of unit)200]，但是 BB 的大小却为[隐含单元数(number of unit)200]，他们的大小无法匹配，但是tensorflow却可以把他们相加，这是因为tensorflow只是使用同样的 BB 与矩阵中的隐含单元数相加。比如 [[1,2],[3,4]] + [1,1] = [[2,3],[4,5]]。）inputs
state这里的inputs就等同于上面解释的 aa, 这里的state就等同于上面解释的 bbTrue加入偏移（bias） BB

LSTM

---

下面让我们看一看LSTM，首先我们来看一下LSTM神经元的内部结构： 

LSTM 神经元／隐含单元（CELL / Hidden unit）

与RNN一样，图中的 xtxt 代表的是当前时间片段的输入， ztzt 代表的是当前时间片段的输出，ht−1ht−1 代表的是上一个时间片段的隐含状态输出，htht 代表的是当前时间片段的隐含状态输出。LSTM相较于RNN一个主要的区别在于LSTM添加了一个新的记忆单元 CC ，图中的 Ct−1Ct−1代表的是上一个时间片段的（旧）记忆单元，CtCt 代表的则是当前时间片段的（新）记忆单元。图中的⨂⨂符号代表的意思是两个向量之间的点乘，图中的⨁⨁符号代表的意思则是两个向量之间的相加。图中圆圈里的 σσ 代表的意思为为一个sigmoid操作，图中圆圈里的 tanhtanh 则是是一个hyperbolic tangent的操作。

基础等式

InputGate:it=σ(Wxixt+Whiht−1+bi)InputGate:it=σ(Wxixt+Whiht−1+bi)

ForgetGate:ft=σ(Wxfxt+Whfht−1+bf)ForgetGate:ft=σ(Wxfxt+Whfht−1+bf)

OutputGate:ot=σ(Wxoxt+Whoht−1+bo)OutputGate:ot=σ(Wxoxt+Whoht−1+bo)

InputModulationGate:gt=tanh(Wxcxt+Whcht−1+bc)InputModulationGate:gt=tanh(Wxcxt+Whcht−1+bc)

ct=ft⊗ct−1+it⊗gtct=ft⊗ct−1+it⊗gt

ht=ot⊗tanh(ct)ht=ot⊗tanh(ct)

对应的Tensorflow代码（Github)

 def __call__(self, inputs, state, scope=None):    """Long short-term memory cell (LSTM)."""    with vs.variable_scope(scope or type(self).__name__):  # "BasicLSTMCell"      # Parameters of gates are concatenated into one multiply for efficiency.      if self._state_is_tuple:        c, h = state      else:        c, h = array_ops.split(1, 2, state)      concat = _linear([inputs, h], 4 * self._num_units, True)      # i = input_gate, j = new_input, f = forget_gate, o = output_gate      i, j, f, o = array_ops.split(1, 4, concat)      new_c = (c * sigmoid(f + self._forget_bias) + sigmoid(i) *               self._activation(j))      new_h = self._activation(new_c) * sigmoid(o)      if self._state_is_tuple:        new_state = LSTMStateTuple(new_c, new_h)      else:        new_state = array_ops.concat(1, [new_c, new_h])      return new_h, new_state

下面列表是上面代码中的变量的大小与解释

变量名对应的基础等式变量大小（shape）解释inputsxtxt[批尺寸大小(batch size), 输入数据大小(input size)]输入的数据（xtxt）state(ct−1,h)(ct−1,h)([批尺寸大小(batch size), 隐含单元数(number of unit)],
[批尺寸大小(batch size), 隐含单元数(number of unit)])这个一个tuple数据类型，储存了上一个时间段也就是旧的记忆单元（ct−1ct−1）和隐含状态（ht−1ht−1）cct−1ct−1[批尺寸大小(batch size), 隐含单元数(number of unit)]旧的记忆单元（ct−1ct−1）hht−1ht−1[批尺寸大小(batch size), 隐含单元数(number of unit)]旧的隐含状态（ht−1ht−1）iWxixt+Whiht−1+biWxixt+Whiht−1+bi[批尺寸大小(batch size), 隐含单元数(number of unit)]Input GatejWxcxt+Whcht−1+bcWxcxt+Whcht−1+bc[批尺寸大小(batch size), 隐含单元数(number of unit)]Input Modulation Gate 也就是代码解释中的new_inputfWxfxt+Whfht−1+bfWxfxt+Whfht−1+bf[批尺寸大小(batch size), 隐含单元数(number of unit)]Forget GateoWxoxt+Whoht−1+boWxoxt+Whoht−1+bo[批尺寸大小(batch size), 隐含单元数(number of unit)]Output Gatenew_cctct[批尺寸大小(batch size), 隐含单元数(number of unit)]新的记忆单元（ctct）new_hhtht[批尺寸大小(batch size), 隐含单元数(number of unit)]新的隐含状态（htht）

concat = _linear([inputs, h], 4 * self._num_units, True)

上述代码的_linear函数与之前RNN代码中的_linear函数一样。在函数里面，tensorflow会自动创建基础等式中相应的Wxi,Whi,bi,Wxf,Whf,bf,Wxo,Who,bo,Wxc,Whc,bcWxi,Whi,bi,Wxf,Whf,bf,Wxo,Who,bo,Wxc,Whc,bc 变量并初始化，在之后的过程当中，这些变量会随着输入的值的更新而不断的变化。

i, j, f, o = array_ops.split(1, 4, concat)

由于在上面的_linear函数中，tensorflow将input gate, input modulation gate, forget gate和output gate串联到了一起，并且他们的大小都是一致的为[批尺寸大小(batch size), 隐含单元数(number of unit)]。所以在这个步骤当中，tensorflow通过切割数组单独获取了input gate, input modulation gate, forget gate和output gate的值。

new_c = (c * sigmoid(f + self._forget_bias) + sigmoid(i) *               self._activation(j))

这一段代码对应的正是基础等式中的等式

ft=σ(Wxfxt+Whfht−1+bf)ft=σ(Wxfxt+Whfht−1+bf)

gt=tanh(Wxcxt+Whcht−1+bc)gt=tanh(Wxcxt+Whcht−1+bc)

ct=ft⊗ct−1+it⊗gtct=ft⊗ct−1+it⊗gt

new_h = self._activation(new_c) * sigmoid(o)

这一段代码对应的则是基础等式中的 ht=ot⊗tanh(ct)ht=ot⊗tanh(ct) 最后tensorflow将新的隐含状态 htht 返回，并将新的隐含状态和新的记忆单元串联起来之后返回。

结束语

---

至此我们应该对LSTM有了一定程度上的理解，欢迎读者们在下方评论区留言发表修改意见。谢谢！

原文地址：　http://gdf.name/lstm-with-tensorflow/