漫步最优化九——泰勒级数

来源：互联网发布：linux grep -ef|ps 编辑：程序博客网时间：2024/05/20 17:38

感受停在我胸口的纤手，

记住望着我坚定的双眼。

为了你，我竟然会疯狂掉，

没有你，即便山崩海啸，也不想逃。

也许未来很遥远，

但是我愿在未知的等待中为你守候。

——畅宝宝的傻逼哥哥

一些非线性规划过程与方法利用了目标函数与等式、不等式约束为线性或二次近似这个策略，即f(x),ai(x),cj(x)为线性或二次近似，这样的近似通过使用泰勒级数就能得到。如果f(x)是两个变量x1,x2的函数，使得f(x)∈CP，其中P→∞，即f(x)有任意阶的连续偏导数，那么函数f(x)在[x1+δ1,x2+δ2]上的函数值由泰勒级数可得

f (x 1 + δ 1, x 2 + δ 2) = f (x 1, x 2) + \partial f \partial x 1 δ 1 + \partial f \partial x 2 δ 2 + 1 2 (\partial 2 f \partial x 2 1 δ 21 + 2 \partial 2 f \partial x 1 \partial x 2 δ 1 δ 2 + \partial 2 f \partial x 2 2 δ 22) + O (∥ δ ∥ 3)

其中

δ = [δ 1 δ 2] T

O(∥δ∥3)是余项，∥δ∥是δ的欧几里得范数

∥ δ = δ T δ ‾ ‾ ‾ ‾ \sqrt

符号ϕ(x)=O(x)表示当x趋近零时，ϕ(x)至少与x趋近零的速度一样快，即存在常数K≥0使得

∣ ∣ ∣ ϕ ( x ) x ∣ ∣ ∣ \leq K a s x \to 0

其实余项也可以表示成o(∥δ∥2)其中符号phi(x)=o(x) 表示当x接近零时，ϕ(x)接近零的属于比x要快，即

∣ ∣ ∣ ϕ ( x ) x ∣ ∣ ∣ \to 0 a s x \to 0

如果f(x)是n个变量的函数，那么f(x)在点[x1+δ1,x2+δ2,…]上的泰勒级数为

f (x 1 + δ 1, x 2 + δ 2, \dots) = f (x 1, x 2, \dots) + \sum i = 1 n \partial f \partial x i δ i + 1 2 \sum i = 1 n \sum j = 1 n δ i \partial 2 f \partial x i \partial x j δ j + o (∥ δ ∥ 2)

用矩阵符号表示为：

f (x + δ) = f (x) + g (x) T δ + 1 2 δ T H (x) δ + o (∥ δ ∥ 2)

其中g(x)是点x处的梯度，H(x) 是海森矩阵。

当∥δ∥→0时，可以忽略二阶或更高阶的项，这时候就得到f(x+δ)的线性近似

f (x + δ) \approx f (x) + g (x) T δ

同样的，f(x+δ)的二次近似为

f (x + δ) \approx f (x) + g (x) T δ + 1 2 δ T H(x) δ

泰勒级数还有另一种形式，包含余项

f (x + δ) = f (x) + \sum 1 \leq k 1 + k 2 + \dots + k n \leq P \partial k 1 + k 2 + \dots + k n f ( x ) \partial x k 1 1 \partial x k 2 2 \dots \partial x k n n \prod i = 1 n δ k i i k i ! + \sum k 1 + k 2 + \dots + k n = P + 1 \partial P + 1 f ( x + α δ ) \partial x k 1 i \partial x k 2 2 \dots \partial x k n n \prod i = 1 n δ k i i k i !

其中0≤α≤1且

\sum 1 \leq k 1 + k 2 + \dots + k n \leq P \partial k 1 + k 2 + \dots + k n f ( x ) \partial x k 1 1 \partial x k 2 2 \dots \partial x k n n \prod i = 1 n δ k i i k i !

所有k1,k2,…,kn可能组合的求和，这个泰勒级数的表示是最一般的，因此可以得到f(x+δ)的三次和更高次近似，进一步，还可以用来求线性，二次，三次或更高次的精确封闭形式表达式。如果f(x)∈C1且P=0，那么我们得到

f (x + δ) = f (x) + g (x + α δ) T δ

如果f(x)∈C2,P=1，那么

f (x + δ) = f (x) + g (x) T δ + 1 2 δ T H (x + α δ) δ

其中0≤α≤1，上面那个等式我们通常称为微分中值定理。

通过重组泰勒级数，我们可以得到下面的形式：

f (x + δ = f (x) + g (x) T δ + 1 2 δ T H(x) δ + 1 3 ! D 3 f (x) + \dots + 1 ( r - 1 ) ! D r - 1 f (x) + \dots

其中

D r f (x) = \sum i 1 = 1 n \sum i 2 = 1 n \dots \sum i r = 1 n {δ i 1 δ i 2 \dots δ i r \partial r f ( x ) \partial x i 1 \partial x i 2 \dots \partial x i r}

阅读全文

0 0