Recurrent Neural Networks regularization

来源:互联网 发布:最优化理论与算法课件 编辑:程序博客网 时间:2024/05/17 16:14
Zaremba W, Sutskever I, Vinyals O. Recurrent Neural Network Regularization[J]. Eprint Arxiv, 2014.

不破坏recurrent connections, 在不同层之间加入dropout。

在四种情景下进行实验:language modeling, speech recognition, machine translation and image caption generation,最终证明结果确实有所提高。




0 0