An Empirical Exploration of Recurrent Network Architectures重点

来源:互联网 发布:网络远程教育多少钱 编辑:程序博客网 时间:2024/05/14 07:31

文章作者做了多组实验检测各种不同结构的RNN在不同的问题上的表现,得到的结论包括:

(1)GRU在除了语言模型的其他地方比LSTM表现好
(2)LSTM with dropout在语言模型上表现好,有大的遗忘门偏置后表现更好
(3)在LSTM中,各个门的重要性为:遗忘门>输入门>输出门
(4)遗忘门在除了语言模型外的情况下影响非常大

语言模型的长期依赖效应强于其他场景

0 0
原创粉丝点击