论文阅读:How to Construct Deep Recurrent Neural Networks
来源:互联网 发布:局域网屏幕监控软件 编辑:程序博客网 时间:2024/06/05 09:46
原文地址
对一般前向传播网络的深度定义是不适用于RNN的,因为RNN的时序结构,当它依时序展开时,只要t够大,那么依照一般定义这都是一个deep RNN。
但是从上图可以看出,在一个单独的time step中,普通RNN的结构无论是input-to-hidden(
下图中灰色椭圆为RNN原有结构,白色椭圆为加入的非线性层(如全连接层)
Deep Input-to-Hidden Function
通过加深模型的input-to-hidden层能够使模型更好的学习到数据的非时序结构(如空间结构),图2中没有相应的illustration。将CNN的输出作为RNN的输入个人觉得也可以分到这一类。
Deep Hidden-to-Output Function(DO)
文章说DO function可以用来disentangle the factors of variations in the hidden state,是的输出的预测更加容易。
若存在L个intermediate的非线性层,则DO RNN的
Deep Hidden-to-Hidden Transition(DT)
最简单的DT RNN如图2(b)所示。DT RNN增加了RNN hidden state的表达能力,使得模型能适应变化更加剧烈的输入。但是非线性的增加也可能使梯度传播变得困难。一种可行的解决方案是参照ResNet加入shortcut connection,如图2(b*)所示。
图2(c)表示同时使用DO和DT的RNN。
若存在L个intermediate的非线性层,则DT RNN的
Stack of Hidden States
如图2(d)所示,隐藏层的堆叠,但是并没有增加隐藏层的非线性所以仍然是浅层RNN,和DT RNN本质上是不同的。文中说这种堆叠结构能够可以处理输入序列的多种time scales,不太理解。DT-RNN和这种堆叠结构是可以同时使用的。
Stacked RNN的更新公式为:
其中
- 论文阅读:How to Construct Deep Recurrent Neural Networks
- speech recognition with deep recurrent neural networks-论文笔记
- Recurrent neural networks deep dive
- 论文阅读:Deep Neural Networks for Object Detection
- 《ImageNet Classification with Deep Convolutional Neural Networks》论文阅读
- Singing-Voice Separation from Monaural Recordings using Deep Recurrent Neural Networks论文笔记
- 论文笔记:Depth-Gated Recurrent Neural Networks
- 阅读"voice conversion using deep bidirectional long short-term memory based recurrent neural networks"
- Recurrent Neural Networks Tutorial阅读笔记
- 论文阅读:A Critical Review of Recurrent Neural Networks for Sequence Learning
- [NLP论文阅读]LightRNN: Memory and Computation-Efficient Recurrent Neural Networks
- 论文阅读:End-to-End Learning of Deformable Mixture of Parts and Deep Convolutional Neural Networks for H
- 论文阅读笔记:Recurrent recommender networks
- 【论文阅读笔记】DEEP COMPRESSION:COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION...
- 【论文阅读】Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huff
- Towards End-to-end Text Spotting with Convolutional Recurrent Neural Networks阅读笔记
- Understanding Neural Networks Through Deep Visualization论文
- 论文《Recurrent Convolutional Neural Networks for Text Classification》总结
- 7-56 找鞍点(20 分)
- 解决JS浮点数(小数)计算加减乘除的BUG
- Java正则表达式中量词贪婪型,勉强型,占有型简单描述
- GIT JSON MAVEN DOCKER
- 个人学习记录-无用处
- 论文阅读:How to Construct Deep Recurrent Neural Networks
- 程序的编译链接过程
- python提取文章中的中文数字
- 任学堂说科技:数百万人的噩梦,人工智能将侵蚀银行岗位,从业者该如何自救?
- Linux中的基本网络配置
- vue2.0引用vue-awesome-swiper插件实现左右滑动轮播效果
- Codeforces Round #440 (Div. 2, based on Technocup 2018 Elimination Round 2) 总结
- 任学堂说科技:细思极恐|未来人工智能如何与人类和平相处?
- 树DP [ZJOI2008]骑士