Sherman-Morrison-Woodburg 定理

接触到这个定理的缘由是碰到矩阵秩一校正的问题，下面给出定理的内容。
定理
设A是n×n非奇异矩阵，U是n×m矩阵，C是m×m非奇异矩阵，V是m×n矩阵，如果C−1+UA−1V非奇异，那么A+UCV也是非奇异的，且

(A+UCV)−1=A−1−A−1U(C−1+UA−1V)−1VA−1

1.证明：

U+UCVA−1U=UC(C−1+VA−1U)=(A+UCV)A−1U

(A+UCV)−1UC=A−1U(C−1+VA−1U)−1

现在：

A−1=(A+UCV)−1(A+UCV)A−1=(A+UCV)−1(I+UCVA−1)=(A+UCV)−1+(A+UCV)−1UCVA−1=(A+UCV)−1+A−1U(C−1+VA−1U)−1VA−1

这个定理有一个有用的推论以及应用，下面我们稍微介绍一下。
推论
（Sherman-Morrison 定理）设A∈Rn×n是非奇异矩阵，u,v∈Rn是任意向量，若1+vTA−1u≠0,那么A 的秩一校正A+uvT非奇异，且其逆矩阵为

(A+uvT)−1=A−1−A−1uvTA−11+vTA−1u

在拟牛顿法的应用
定理经常在无约束最优化问题的拟牛顿法中，用来求解一个核心的方程的根。具体的说，给定一个向量值函数f:Rn→Rn,利用牛顿法求解f(x)=0的一个近似解，是通过如下的迭代：

xk+1=xk−J(xk)−1f(xk)

其中J表示f的雅可比矩阵，当然有时候J的性质可能并不是很好，我们通常对它进行一些校正，设Ak是J(xk)的近似，在第(k+1)步迭代中，我们令

Ak+1=Ak−ukvk

其uk,vk的选取是使得Ak+1近似J(x｛k+1｝)比Ak近似J(xk)得更好。通常，uk,vk是这样选取的，解如下方程：

Ak+1(xk+1−xk)=fk+1−fk

其中xk+1=xk−A−1kfk,fk=f(xk),于是我们令

vTk=xk+1−xk,uk=AkvTk−gkvkvTk

其中gk=fk+1−fk.这个过程源于下面的事实：
使

(Ak−Pk)(xk+1−xk)=fk+1−fk

成立的且使||Pk||2最小的是一个秩一矩阵。
为了实现拟牛顿法，我们需要求得A−1K,通过前面的定理，我们可以递归地求出

A−1k+1=A−1k+(vTk−A−1kgk)vkA−1kvkA−1kgk

Powell 发现利用上面的迭代公式，可以减少一定的计算误差。