自然语言处理模型之GRU和LSTM网络模型总结

前文中小修为大家介绍了自然语言模型中LSTM (Long Short-Term Memory)网络的性质，相对于递归神经网络，LSTM网络能够避因为梯度弥散而带来的长时间的信息丢失的问题。这里小修为大家介绍一种在LSTM基础上提出的GRU网络模型。LSTM和GRU (Gated Recurrent Unit)是在处理自然语言中非常流行的两种网络模型，小修根据最近几年的关于这方面的研究介绍一下两种模型的优劣对比。在介绍之前，我们先回顾一下LSTM模型，之后再介绍GRU模型。

1. LSTM模型

LSTM模型又称为长短期记忆网络，其网络的结构如下图所示：

对于LSTM模型，有三个非常重要的门，分别时输入门，遗忘门以及输出门。其中输入门和遗忘门的表达式为：

其中f表示的遗忘门，i表示的记忆门。而对于记忆细胞状态的c的更新表达式为：

其中新的c的中间状态为：

输出门的表达式为：

其中隐藏层ht的更新公式为：

其中xt表示的是t时刻网络的输入数据，ht表示的隐藏层神经元的激活函数，c是一个记忆单元，U和W都是LSTM模型的参数，或者称为权值矩阵，激活函数使用的是sigmoid函数。里面的具体的每个门的含义大家可以翻阅之前小修对LSTM的介绍文章。

RNN网络在每一个递归时间都会对网络中的信息进行改写，而LSTM最核心的思想是能够通过不同的门来实现决定是否保留网络中存在的信息，并且当网络探测到输入序列中存在非常重要的的特征，能够通过细胞状态的记忆，一直保留很长的时间。

2. GRU网络模型

GRU网络要比LSTM网络简单，它将忘记门和输入门合成一个单一的跟新门，同时还混合了细胞状态和隐藏状态，虽然只比LSTM少一个门的计算，但是在训练的数据量很大的时候，GRU能节省很多的时间。如下图所示：

在GRU模型中隐藏层的状态的更新由以下方程决定：

其中z和h中间状态的跟新由下列表达式决定：

在GRU模型中重置门的更新公式为：

其参数和之前LSTM模型中的参数基本一致。

3. GRU网络和LSTM网络模型对比

Bengio等人，对比了LSTM和GRU两种网络模型在处理音乐音频学习的效率，并且和传统的只有tanh激活函数的RNN网络进行了对比，如下图所示：

可以发现LSTM和GRU的差别并不是很大，在有些方面GRU要比LSTM 模型性能要好一些，但是都比tanh网络模型明显要好很多(表格中越小越要性能越好)，不过在对LSTM和GRU的选择方面还是需要根据相应的任务和数据量来进行选择。

不过在收敛的时间和需要训练的数据量上，GRU要更胜一筹，毕竟需要训练的参数要少。

参考内容：

[1] Cho, et al. Learning phrase representation using RNN encoder-decoder for statistical machine translation. 2014

[2] Bengio, et al. A neural probabilistic language model, 2003

[3] Bengio, et al. Empirical evaluation of gated recurrent neural networks on sequence modeling.

原文来自于微信公众号：自然语言处理技术，

欢迎关注公众号学习交流