UFLDL第一章，若使得隐藏激活值最大，则函数的输入满足条件（若推导过程有问题，欢迎留言批评指正）

来源：互联网发布：cnc数控模拟软件编辑：程序博客网时间：2024/05/16 10:41

拉格朗日乘数法求：

m a x \sum j = 0 n w i, j x j

时候，

xj满足的条件

s . t . \sum j x 2 j \leq 1

证明：

根据拉格朗日乘数法构建目标函数:

$L (x 0, \dots, x j, \dots, x n) = \sum j = 0 n w i, j x j + λ (\sum j x 2 j - 1 + η 2) (1)$
其中λ≥0，因为是不等式约束条件，所以添加η2补偿项
$⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ \partial L \partial x 0 = w i, 0 + λ (2 x 0) ⋮ \partial L \partial x j = w i, j + λ (2 x j) = 0 ⋮ (2) \partial L \partial λ = \sum j x 2 j - 1 + η 2 = 0 ⋮ \partial L \partial η = 2 λ η = 0$
其中2λη=0，若λ=0:
有上式可得：
$w i, j = 0 (3)$
在神经网络训练中，权值全为0不满足要求，所以η=0，那么
$⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ w i, 0 = - λ (2 x 0) ⋮ w i, j = - λ (2 x j) (4) ⋮ \sum j x 2 j = 1$
对eq.(4)中的前n个公式两边取平方，得到：
$⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ w 2 i, 0 = 4 λ 2 x 20 ⋮ w 2 i, j = 4 λ 2 x 2 j (5) ⋮ w 2 i, n = 4 λ 2 x 2 n$
将eq.(5)里面的n个公式进行左右求和
$\sum j = 0 n w 2 i, j = 4 λ 2 \sum j = 0 n x 2 j (6)$
因为∑nj=0x2j=1并且λ≥0且λ≠0，所以
$λ = \sum n j = 0 w 2 i , j - - - - - - - - \sqrt 2 (7)$
将eq.(7)带入eq.(5)得
$x j = w i , j \sum n j = 0 w 2 i , j - - - - - - - - \sqrt (8)$

阅读全文

1 0