scipy.optimize.minimize 的优化算法(3): DFP和BFGS的证明

DFP和BFGS的证明

Practical Methods of Optimization, 2nd Edition, Chapter 2
http://home.agh.edu.pl/~pba/pdfdoc/Numerical_Optimization.pdf
https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.minimize.html

DFP和BFGS的迭代公式的证明大多文献都用待定系数来得到，最优化的证明很难找到。在这里给出详细证明。

Theorem 1 (DFP)

minB||B−Bk||

subject to: B=B⊤,Bsk=yk

此处: ||A||W≡||W1/2AW1/2||F; W=G. G是average Hessian

Proof:

令 γ=yk;δ=sk;ξ=γ−Bδ

Lagrangian function:

L=14trace(WE⊤WE)+trace(Λ⊤(E⊤−E)−λ⊤W(Eδ−ξ)

∂L∂E=12WEW+Λ⊤−Λ−Wλδ⊤=0

将上式转置再加上原式得到:

WEW=Wλδ⊤−δλ⊤W

E=λγ⊤−γλ⊤

λ⊤δ=12ξ⊤δγ⊤δ

最后得到：

Bk+1−Bk=(1+δ⊤Bkδγ⊤δ)γ⊤γγ⊤δ−(γδ⊤Bk+Bkδγ⊤γ⊤δ)

也就是Numerical Optimization书中的(6.13):

Bk+1=(I−ρkyks⊤k)Bk(I−ρksky⊤k)+ρkyky⊤k

其中：ρk=1/(y⊤ksk).

■

Theorem 2 (BFGS)

minH||H−Hk||

subject to: H=H⊤,Hyk=sk

此处: ||A||W≡||W1/2AW1/2||F; W=G. G是average Hessian

Proof:

按照Theorem 1的证明，可以得到：

Hk+1−Hk=(1+γ⊤Hkγδ⊤γ)δ⊤δδ⊤γ−(δγ⊤Hk+Hkγδ⊤δ⊤γ)

也就是Numerical Optimization书中的(6.17):

Hk+1=(I−ρksky⊤k)Hk(I−ρkyks⊤k)+ρksks⊤k

■