PRML exercises 10.3 解析

来源：互联网发布：ubuntu alias配置文件编辑：程序博客网时间：2024/06/06 02:54

P517 exercises 10.3 solution(solution to exercises tutor’s edition p164)
从公式(10.6)开始，推导整理可得

K L (p | | q) = = = = = - \int p (Z) [\sum i = 1 M ln q i (Z i))] d Z + c o n s t . - \int ⎛ ⎝ p (Z) ln q j (Z j) + p (Z) \sum i \neq j ln q i (Z i)) ⎞ ⎠ d Z + c o n s t . - \int p (Z) ln q j (Z j) d Z + c o n s t . - \int ln q j (Z j) ⎡ ⎣ \int p (Z) \prod i \neq j d Z i ⎤ ⎦ d Z j + c o n s t . - \int F j (Z j) ln q j (Z j) d Z j + c o n s t .,

其中

F = F j (Z j) = \int p (Z) \prod i \neq j d Z i

const表示与

qj(Zj)无关的项, 最小化

KL divergence中可以忽略
根据约束

∫p(Z)dZ=1加入Lagrange multiplifier得

δ F = - \int F j (Z j) ln q j (Z j) d Z j + λ (\int q j (Z j) d Z j - 1)

整理，得到优化的目标函数，该函数为泛函数

δF(qj(Zj),Zj)

δ F = \int {F j (Z j) ln q j (Z j) + λ q j (Z j)} d Z j + λ

由于

λ为常数优化中可以忽略, 且按照Appendix D中的

(D.5)公式，可得，

G = F j (Z j) ln q j (Z j) + λ q j (Z j)

\partial G q j ( Z j ) = 0

根据

AppendixD的

Euler−Lagrangeequation的简化假设

G(y,x)不依赖于

∂yx, 求函数

δF的驻点即为求functional derivative

∂Gqj(Zj)=0, 由此得

- F j ( Z j ) q ( Z j ) + λ = 0

移项变换以后得

λ q j (Z j) = F j (Z j) .

λ = \int F j (Z j) d Z j = \int ⎡ ⎣ \int p (Z) \prod i \neq j d Z i ⎤ ⎦ d Z i = 1,

将

λ=1代入

λqj(Zj)=Fj(Zj)可得

q * j (Z j) = F j (Z j) = \int p (Z) \prod i \neq j d Z i .

即p468 的

(10.17)

0 0