优化：等式约束

优化：等式约束1

问题描述：

等式约束：

minimizef(x)subject toh(x)=0

其中，x∈Rn，f:Rn→R，h:Rn→Rm， h=[h1,...,hm]T，并且m≤n。h是连续可微的。

一些定义

• regular point
  

  A point x∗ satisfying the constraints h1(x∗)=0,...,hm(x∗)=0 is said to be a regular point of the constraints if the gradient vectors ∇h1(x∗),...,∇hm(x∗) are linearly independent.

• tangent space
  The tangent space at a point x∗ on the surface S={x∈Rn:h(x)=0} is the set T(x∗)={y:Dh(x∗)y=0}

• normal space

  The normal space at a point x∗ on the surface S={x∈Rn:h(x)=0} is the set N(x∗)={x∈Rn:x=Dh(x∗)Tz,z∈Rm}

• 定理

  T(x∗)=N(x∗)⊥ and T(x∗)⊥=N(x∗)

拉格朗日条件

拉格朗日条件图解[1]：

• 拉格朗日定理
  

Let x∗ be a local minimizer (or maximizer) of f:Rn→R, subject to h(x)=0,h:Rn→Rm,m<n. Assume that x∗ is a regular point. Then, there exists λ∈Rm such that

Df(x∗)+λ∗TDh(x∗)=0T

.

Example
考虑下述问题

maximizexTQxxTPx

求解思路：
用拉格朗日法求解，但是没有等式约束。通过观察发现，如果对x扩大一定倍数，如t，那么tx的解与x的相同，所以我们可以将xTPx约束为1，所以原问题变成

maximizexTQxsubject toxTPx=1.

便可以用拉格朗日法求解。

二次条件

上面所说的拉格朗日法是针对函数的一阶导的，下面就二阶导进行讨论。
记L(x,λ)是拉格朗日方程的Hessian矩阵：

L(x,λ)=F(x)+λ1H1(x)+....+λmHm(x)

给出结论：

• 定理

  Suppose that f,h∈C2 and there exits a point x∗∈Rn and λ∗∈Rm such that:

  1. Df(x∗)+λ∗TDh(x∗)=0T .
  2. For all y∈T(x∗),y≠0, we have yTL(x∗,λ∗)y>0.
     Then, x∗ is a strict local minimizer of f subject to h(x)=0.

  对于局部最大值也是同样的条件约束，区别在于第二项中的正定变成了负定。

[1]图片来自《AN INTRODUCTION TO OPTIMIZATION》P434

---

1. 参考《AN INTRODUCTION TO OPTIMIZATION》和《CONVEX OPTIMIZATION》. ↩