LSTM与GRU的一些比较 - 论文笔记

参考：关于序列建模门控回归神经网络的实证评价

链接：http://blog.csdn.net/meanme/article/details/48845793

1.概要：

传统的RNN在训练长期依赖的时候会遇到很多困难，最常见的便是梯度化为乌有 梯度;另一种则是设计更加精密的重复单元，如LSTM，GRU而本文的重点是比较LSTM，GRU的性能由于在机 数据集语音状语从句信号建模上进行实验的。

2.LSTM与GRU：

1）LSTM：

2）GRU：

3）概括的来说，LSTM和GRU都能通过各种门将重要特征保留，保证其在长期传播的时候也不会被丢失；还有一个不太好理解，作用就是有利于BP的时候不容易vanishing：

3.实验结果：

实验用了三个单元，传统的正切，以及LSTM和GRU：

可以发现LSTM和GRU的差别并不大，但是都比tanh要明显好很多，所以在选择LSTM或者GRU的时候还要看具体的task数据是什么

不过在收敛时间和需要的划时代上，GRU应该要更胜一筹：