基于时间的反向传播算法BPTT（Back Propagation Trough Time）

---

将RNN展开之后，，前向传播（Forward Propagation）就是依次按照时间的顺序计算一次就好了，反向传播（Back Propagation）就是从最后一个时间将累积的残差传递回来即可，这与普通的神经网络训练本质上是相似的。

RNN的BPTT公式推导

参考文献：

1、A guide to recurrent neural networks and backpropagation ,Mikael Boden, Dallas Project Sics Technical Report T Sics, 2001