循环神经网络(RNN, Recurrent Neural Networks)的入门必学文章

来源:互联网 发布:淘宝刷客违法吗 编辑:程序博客网 时间:2024/06/05 17:26

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

http://www.csdn.net/article/2015-11-25/2826323


循环神经网络(Recurrent Neural Networks,RNNs)已经在众多自然语言处理(Natural Language Processing, NLP)中取得了巨大成功以及广泛应用。但是,目前网上与RNNs有关的学习资料很少,因此该系列便是介绍RNNs的原理以及如何实现。主要分成以下几个部分对RNNs进行介绍: 
1. RNNs的基本介绍以及一些常见的RNNs(本文内容); 
2. 详细介绍RNNs中一些经常使用的训练算法,如Back Propagation Through Time(BPTT)、Real-time Recurrent Learning(RTRL)、Extended Kalman Filter(EKF)等学习算法,以及梯度消失问题(vanishing gradient problem) 
3. 详细介绍Long Short-Term Memory(LSTM,长短时记忆网络); 
4. 详细介绍Clockwork RNNs(CW-RNNs,时钟频率驱动循环神经网络); 
5. 基于PythonTheano对RNNs进行实现,包括一些常见的RNNs模型。


多层反馈RNN(Recurrent neural Network、循环神经网络)神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是,RNN可以利用它内部的记忆来处理任意时序的输入序列,这让它可以更容易处理如不分段的手写识别、语音识别等。


完全递归网络(Fully recurrent network)
Hopfield网络(Hopfield network)
Elman networks and Jordan networks
回声状态网络(Echo state network)
长短记忆网络(Long short term memery network)
双向网络(Bi-directional RNN)
持续型网络(Continuous-time RNN)
分层RNN(Hierarchical RNN)
复发性多层感知器(Recurrent multilayer perceptron)
二阶递归神经网络(Second Order Recurrent Neural Network)
波拉克的连续的级联网络(Pollack’s sequential cascaded networks)



1. TensorFlow API攻略

http://edu.csdn.net/course/detail/4495
2. TensorFlow入门基本教程
http://edu.csdn.net/course/detail/4369

3. C++标准模板库从入门到精通 

http://edu.csdn.net/course/detail/3324

4.跟老菜鸟学C++

http://edu.csdn.net/course/detail/2901

5. 跟老菜鸟学python

http://edu.csdn.net/course/detail/2592

6. 在VC2015里学会使用tinyxml库

http://edu.csdn.net/course/detail/2590

7. 在Windows下SVN的版本管理与实战 

 http://edu.csdn.net/course/detail/2579

8.Visual Studio 2015开发C++程序的基本使用 

http://edu.csdn.net/course/detail/2570

9.在VC2015里使用protobuf协议

http://edu.csdn.net/course/detail/2582

10.在VC2015里学会使用MySQL数据库

http://edu.csdn.net/course/detail/2672


0 0