有趣的机器学习(五）

什么是LSTM（Long Short-Term Memory) RNN

一、普通的RNN的弊端

       RNN是在有序的数据上进行学习的，为了记住这些数据，RNN会想人一样产生对先前数据的记忆，不过一般形式的RNN就像一位老爷爷，有些时候还是比较健忘的。为什么会这样呢？

       现在让RNN分析今天我究竟做的什么菜？RNN可能会给出辣子鸡这个答案，由于判断失误，RNN就要开始学习长序列X和红烧排骨之间的关系，而RNN所需要的关键数据却出现在句子开头。红烧排骨经过长途跋涉才能最终到达最后一个时间点，我们可以得到误差，再反向传递得到误差的时候，在每一步反向误差时*w，如果w<1，则返回到最后越来越小可能误差就消失了，成为梯度消失或者梯度弥散，如果w>1时，误差越来越大，不断累乘，这种成为误差爆炸，这也是会忘记久远记忆的原因。LSTM（Long Short-Term Memory) RNN就是这样产生的。

二、LSTM

      相比于之前的RNN，增加了三个控制器：输入、输出和忘记，多了一个控制全局的记忆，把粗线想象成电影或游戏中的主剧情，原本的RNN体系则是分线剧情，如果此时的分线剧情对于剧终结果十分重要，输入控制就会按重要程度将输入剧情写入到主线剧情再进行分析，如果此时分线剧情改变了对之前剧情的想法，忘记控制就会将之前的主线剧情忘记，主线剧情的更新依赖于输入和忘记控制。