深度学习之caffe 前向传播和反向传播

前向传播和反向传播在caffe框架中是Net（查看我的博客中的net那边介绍的博客）模型中最基本的计算.

以线性回归分类器为例，

前向传播可以简单理解为根据给定的输入计算输出。

在caffe中，通过组合每一个layer层的计算（如果大家在中学阶段接触过复合函数,例如f(x)=h(g(x))这种形式,那么大家就好理解了）来表示整个神经网络模型,传播方式是自底向上(bottom to top,所以我们称作前向传播).如下图所示。

反向传播:由于我们需要根据输入的数据进行学习，因此我们不断调整神经网络中的神经元(以权值矩阵W表示),一种好的解决方案就是利用计算给定损失函数的梯度.

损失函数一般可以定义为:Loss=(t-f(Xn;w0,w1,...wn))^2，这里需要说明的是t表示我们最终期望的输出，f表示神经网络的实际输出。当然这里只是粗略的给出了一个简单线性分类问题的损失函数，实际情况下损失函数一般比较。

那么有了损失函数Loss,我们就可以运用高等数学中的知识来求解梯度gradient.

对于上图的反向传播,可以用下图表示.

首先,从损失函数loss开始，计算关于输出 ∂fW∂h的梯度

,通过偏微分求导的链式法则，不断的往前面的层计算梯度，并最终传到输入层。

反向传播算法具体比较繁琐，如果有机会，我以后会专门写一个反向传播算法的章节。