LSTM 与 GRU

来源:互联网 发布:刷qq会员永久软件 编辑:程序博客网 时间:2024/05/22 15:26

LSTM 示意图如下,来自 LSTM 非常出名的博客 : http://colah.github.io/posts/2015-08-Understanding-LSTMs/

首先标准的LSTM

forgot gate:


input  gate 


cell state


output gate


LSTM 常用的一种变体--GRU 

input gate、forget gate  GRU 中将这两个gate合为一个 update gate,  将cell state 、hidden state 也合为一个state




原创粉丝点击