神经网络笔记

来源：互联网发布：大数据培训考试答案编辑：程序博客网时间：2024/06/17 12:02

神经网络的数学描述:

这里写图片描述

wljk表示l−1层的第k个神经元到l层的第j个神经元输入的权重.
blj表示 l层的第j个神经元的偏移
alj表示l层的第j个神经元的输出
所以:

a l j = σ (\sum k w l j k a l - 1 k + b l j)

也可以用更简洁的描述:

a l = σ (w l a l - 1 + b l)

令:

z l = z l j = w l a l - 1 + b l

则

zl可以视为第

l层神经元的带权重和偏移的输入.

代价函数的定义如下:

C = 1 2 n \sum x | | y (x) - a L (x) | | 2

这里:

n是训练样本的个数,

y(x)是期望的输出,

L是神经网络的总层数,

aL=aL(x)是神经网络当输入样本为

x时的输出.

Hadmard积的定义如下:
$这里写图片描述$

定义错误δlj:

δ l j = \partial C \partial z l j

则:

δ L j = \sum k \partial C \partial a L k \partial a L k \partial z L j

因为

aLk是第

L层的第

k个神经元，只有当

j=k时，跟

zLj有关，所以

\partial a L k \partial z L j = 0, if k \neq j

于是:

δ L j = \partial C \partial a L j \partial a L j \partial z L j

所以, 反向传播公式一(BP1)：

δ L j = \partial C \partial a L j σ' (z L j)

继续来推导反向传播公式二 (BP2):

δ l j = \partial C \partial z l j

于是：

δ l j = \sum k \partial C \partial z l + 1 k \partial z l + 1 k \partial z l j

继续推导:

δ l j = \sum k \partial z l + 1 k \partial z l k δ l + 1 k

因为:

z l + 1 k = \sum j w l + 1 j a l j + b l + 1 j = \sum j w l + 1 j σ (z l k) + b l + 1 j

所以:

\partial z l + 1 k \partial z l k = w l + 1 k σ' (z l k)

因此:

δ l j = \sum k w l + 1 k j δ l + 1 k σ' (z l k)

这就是反向传播公式二BP2, 也可以简写为:

δ l = (w l + 1) T δ j + 1 σ' (z l)

于是，如果我们已知

δl, 可以计算

δl−1.

神经网络的学习过程最终需要调整w和b, 所以我们需要计算
∂C∂wljk和∂C∂blj。这就是反向传播公式三和四(BP3 and BP4)
待续

1 0