关于长短时记忆的一个小感想

来源:互联网 发布:国外云计算公司 编辑:程序博客网 时间:2024/04/30 03:14


以上是短时记忆和长时记忆的示例图,看到长时记忆还是有蛋白质的合成才能够保证的。短时的记忆就是加强突触的链接。


想到我们平时训练神经网络,为啥总是预测能力不够,因为我们只有第一个步骤啊,也就是短时记忆的训练,没有长时记忆的训练。突然又想起来LSTM的对长时记忆的补充,就是通过增加gate来实现,现在看来人家8几年的论文不是盖的,这gate不正好对应了这里的蛋白质了吗

1 0
原创粉丝点击