深度学习的简单概述

深度神经网络是由多个单层非线性网络叠加而成的，常见的单层网络按照编码解码情况分为3 类:只包含编码器部分、只包含解码器部分、既有编码器部分也有解码器部分． 编码器提供从输入到隐含特征空间的自底向上的映射，解码器以重建结果尽可能接近原始输入为目标将隐含特征映射到输入空间，深度神经网络分为以下 3 类：

1) 前馈深度网络(feed-forward deep networks，FFDN)

     由多个编码器层叠加而成，如多层感知机(multi-layer perceptrons，MLP) ［31-32］ 、卷积神经网络(convolutional neural networks，CNN) 等。

    F． Ｒosenblatt 提出的感知机是最简单的单层前向人工神经网络，但随后 M． Minsky 等证明单层感知机无法解决线性不可分问题(如异或操作)，这一结论将人工神经网络研究领域引入到一个低潮期，直到研究人员认识到多层感知机可解决线性不可分问题，以及反向传播算法与神经网络结合的研究使得神经网络的研究重新开始成为热点． 但是由于传统的反向传播算法具有收敛速度慢、需要大量带标签的训练数据、容易陷入局部最优等缺点，多层感知机的效果并不是十分理想．
1984 年日本学者 K． Fukushima 等基于感受野概念提出的神经认知机可看作卷积神经网络的一种特例，Y． Lecun 等  提出的卷积神经网
络是神经认知机的推广形式． 卷积神经网络是由多个单层卷积神经网络组成的可训练的多层网络结构． 每个单层卷积神经网络包括卷积、非线性变换和下采样 3 个阶段
，其中下采样阶段不是每层都必需的． 每层的输入和输出为一组向量构成的特征图(feature map)(第一层的原始输入信号可以看作一个具有高稀疏度的高维特征图)． 例如，输入部分是一张彩色图像，每个特征图对应的则是一个包含输入图像彩色通道的二维数组(对于音频输入，特征图对应的是一维向量;对于视频或立体影像，对应的是三维数组);对应的输出部分，每个特征图对应的是表示从输入图片所有位置上提取的特定特征．

2) 反馈深度网络 (feed-back deep networks，FBDN)

    由多个解码器层叠加而成，如反卷积网络(deconvolutional networks，DN) ［30］ 、层次稀疏编码网络(hierarchical sparse coding，HSC) 等．

    与前馈网络不同，反馈网络并不是对输入信号进行编码，而是通过解反卷积或学习数据集的基，对输入信号进行反解． 前馈网络是对输入信号进行编码的过程，而反馈网络则是对输入信号解码的过程．以反卷积网络为例，M． D． Zeiler 等提出的反卷积网络模型和 Y． LeCun 等提出的卷积神经网络思想类似，但在实际的结构构件和实现方法上有所不同． 卷积神经网络是一种自底向上的方法，该方法的每层输入信号经过卷积、非线性变换和下采样 3 个阶段处理，进而得到多层信息． 相比之下，反卷积网络模型的每层信息是自顶向下的，组合通过滤波器组学习得到的卷积特征来重构输入信号． 层次稀疏编码网络和反卷积网络非常相似，只是在反卷积网络中对图像的分解采用矩阵卷积的形式，而在稀疏编码中采用矩阵乘积的方式。

3) 双向深度网络(bi-directional deep networks，BDDN)

    通过叠加多个编码器层和解码器层构成(每层可能是单独的编码过程或解码过程，也可能既包含编码过程也包含解码过程)，如深度玻尔兹曼机(deep Boltzmann machines，DBM) 、深度信念网络(deep belief networks，DBN) 、栈式自编码器(stacked auto-encoders，SAE) 等．

   双向网络由多个编码器层和解码器层叠加形成，每层可能是单独的编码过程或解码过程，也可能同时包含编码过程和解码过程． 双向网络的结构结合了编码器和解码器 2 类单层网络结构，双向网络的学习则结合了前馈网络和反馈网络的训练方法，通常包括单层网络的预训练和逐层反向迭代误差 2个部分，单层网络的预训练多采用贪心算法:每层使用输入信号 I L 与权值 w 计算生成信号 I L +1 传递到下一层，信号 I L +1 再与相同的权值 w 计算生成重构信号 I'L 映射回输入层，通过不断缩小 I L 与 I' L 间的误差，训练每层网络;网络结构中各层网络结构都经过预训练之后，再通过反向迭代误差对整个网络结构进行权值微调． 其中单层网络的预训练是对输入信号编码和解码的重建过程，这与反馈网络训练方法类似;而基于反向迭代误差的权值微调与前馈网络训练方法类似．典型的双向深度网络有深度玻尔兹曼机 、深度信念网络、栈式自编码器等．