循环神经网络RNN在自然语言处理领域的应用

之前看的论文都是基于CNN在NLP上的应用，但其实深度学习与NLP结合的领域中应用最广的应该是RNN，因为文本可以直观地被表示为输入序列，方便的被RNN处理，捕获其Long-Term依赖等信息，而且实际应用中也取得了很好的效果。之前虽然主要研究CNN，但同时也看了很多关于RNN、LSTM、GRU等模型原理的介绍，使用方法，也读过一些代码。本篇博客作为RNN与NLP领域开启的第一篇，主要介绍一下之前看过的一些博客、代码等资源的链接，方便想要了解这个领域的同学们入门学习，可能罗列的也不是很全面只是自己感觉比较好的资源而已。

博客

博客的话主要看了两个比较知名博主写的博文，国内也有很多研究者对其进行了翻译，写的博文质量很高，强烈建议大家进行研读。

1. WLIDML大神关于RNN、LSTM、GRU的介绍和使用theano实现的的四篇博文：

   Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs
   Recurrent Neural Networks Tutorial, Part 2 – Implementing a RNN with Python, Numpy and Theano
   Recurrent Neural Networks Tutorial, Part 3 – Backpropagation Through Time and Vanishing Gradients
   Recurrent Neural Networks Tutorial, PART 4 – IMPLEMENTING A GRU/LSTM RNN WITH PYTHON AND THEANO

2. colah大神关于RNN以及RNN最新的四个研究领域介绍的博客，其博客特点是插图都很经典，往往使用gif动图易于理解模型实质：

   Understanding LSTM Networks
   Attention and Augmented Recurrent Neural Networks

3. CS224d课程关于RNN的介绍

4. 张俊林的博客

代码、项目 、论文（持续更新）

TensorFlow官网教程