神经网络资料整理

CNN

来源：https://www.zhihu.com/question/39022858

所谓卷积神经网络，就是会自动的对于一张图片学习出最好的卷积核以及这些卷积核的组合方式，也就是对于一张图片的任务来说，求出最好的图片对于本任务的特征的表达，然后来进行判断

如果学过数字图像处理，对于卷积核的作用应该不陌生，比如你做一个最简单的方向滤波器，那就是一个二维卷积核，这个核其实就是一个模板，利用这个模板再通过卷积计算的定义就可以计算出一幅新的图像，新的图像会把这个卷积核所体现的特征突出显示出来。比如这个卷积核可以侦测水平纹理，那卷积出来的图就是原图水平纹理的图像。

包括四个步骤：图像输入（Input Image）→卷积（Convolution）→最大池化（Max Pooling）→全连接神经网络（Fully-Connected Neural Network）计算。

Max Pooling算法：

缩减像素采样数组，按照2×2来分割特征矩阵，分出的每一个网格中只保留最大值数组，丢弃其它数组，得到最大池化数组（Max-Pooled Array）

RNN

样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要。

在RNN中，神经元的输出可以在下一个时间戳直接作用到自身

为了解决时间上的梯度消失，机器学习领域发展出了长短时记忆单元LSTM，通过门的开关实现时间上记忆功能，并防止梯度消失。

DNN

问题：梯度消失

高速公路网络（highway network）和深度残差学习（deep residual learning）

参考资料：

链接：https://www.zhihu.com/question/39022858/answer/120211609
来源：知乎
著作权归作者所有，转载请联系作者获得授权。

更多资料：

UnderstandingDeepImageRepresentationsbyInvertingThem

CVPR的文章Visualizing and Understanding Convolutional Networks 

3D VIsion CNN 很有趣的网站:  http://scs.ryerson.ca/~aharley/vis/conv/

http://colah.github.io/posts/2014-03-NN-Manifolds-Topology/

Ng写的Ufldl：UFLDL教程 - Ufldl

Theano内自带的教程，例子非常具体：Deep Learning Tutorials