神经网络笔记——反向传播算法

神经网络输出的矩阵表示

alj=σ(∑kwljkal−1k+blj),

al=σ(wlal−1+bl).

上式中，令:

zl≡wlal−1+bl

关于cost函数的两个条件

条件1：cost函数可以被写成如下形式：

C=1n∑xCx

，其中x是单个训练样本，n为样本总数。

对于均方误差函数：

C=12n∑x∥y(x)−aL(x)∥2,

满足条件1：
C=1n∑xCx,其中Cx=12∥y−aL∥2

条件2：cost函数是神经网络最终层输出值aL的函数。

可知均方误差函数也满足条件2:

C=12∥y−aL∥2=12∑j(yj−aLj)2,

Hadarmard乘积

[12]⊙[34]=[1∗32∗4]=[38].

四条等式

alj=σ(∑kwljkal−1k+blj),

al=σ(wlal−1+bl).

zl≡wlal−1+bl

后向传播算法过程

1. 输入x：对输入层a1赋值。
2. 前馈：对于每个l=2,3,…,L,计算zl=wlal−1+bl和al=σ(zl)
3. 计算误差δL:计算δL=∇aC⊙σ′(zL)
4. 反向传播误差：对于每个l=L−1,L−2,…,2,计算δl=((wl+1)Tδl+1)⊙σ′(zl)
5. 输出：计算每个∂C∂wljk=al−1kδlj,∂C∂blj=δlj