卷积层back propagation公式的推导

来源：互联网发布：python开源软件编辑：程序博客网时间：2024/04/28 19:50

f是激活函数，a是激活函数的输入，z是激活函数的输出，W是滤波器系数，b是偏置

显然有：

$z_{k}^{l}(s,t)=\sum_{c}\sum_{i}\sum_{j}a_{c}^{l-1}(i,j)\cdot W_{kc}^{l}(i-s,j-t)+b_{k}^{l}(s,t)$ （1）

$a_{c}^{l}(i,j)=f$z_{c}^{l}(i,j)$$ （2）

k是滤波器输出通道数，c时输入的feature map通道数（输入通道数），i，j，s，t都是二位坐标的index

每一层输出（未通过激活函数前）处的反向传播误差：

$\delta_{k}^{l}(s,t)=\frac{\partial C}{\partial z_{k}^{l}(s,t)}$ （3）

首先推导反向传播误差的递推公式

$\delta_{k}^{l-1}(s,t)=\frac{\partial C}{\partial z_{k}^{l-1}(s,t)}=\sum_{k',s',t'}\frac{\partial C}{\partial z_{k'}^{l}(s',t')}\cdot \frac{\partial z_{k'}^{l}(s',t')}{\partial z_{k}^{l-1}(s,t)}=\sum_{k',s',t'}\delta_{k'}^{l}(s',t')\cdot \frac{\partial z_{k'}^{l}(s',t')}{\partial z_{k}^{l-1}(s,t)}=f'(z_{k}^{l-1}(s,t))\cdot \sum_{k',s',t'}\delta_{k'}^{l}(s',t')\cdot W_{k'k}^{l}(s-s',t-t')$ （4）

注意： a)（1）中的前向公式事实上不是卷积，做的是相关运算。（4）中的反向公式才做的是卷积。

b) （4）中，k‘ 实际上变为反向传播时的输入通道数，k变为输出通道数。delta 变为反向传播时输入的feature map

下面推导cost相对于W，b的梯度公式

$\frac{\partial C}{\partial W_{kc}^{l}(p,q)}=\sum_{k',s',t'}\frac{\partial C}{\partial z_{k'}^{l}(s',t')}\cdot \frac{\partial z_{k'}^{l}(s',t')}{\partial W_{kc}^{l}(p,q)}=\sum_{s',t'}\delta_{k}^{l}(s',t')\cdot a_{c}^{l-1}(p+s',q+t')$ （5）

$\frac{\partial C}{\partial b_{k}^{l}(s,t)}=\sum_{k',s',t'}\frac{\partial C}{\partial z_{k'}^{l}(s',t')}\cdot \frac{\partial z_{k'}^{l}(s',t')}{\partial b_{k}^{l}(s,t)}=\delta_{k'}^{l}(s',t')\cdot 1$ （6）

0 0