矩阵最小二乘与Tikhonov正则化

来源：互联网发布：程序设计用什么软件编辑：程序博客网时间：2024/06/04 17:54

最小二乘矩阵求解与正则化

最小二乘是最常用的线性参数估计方法，早在高斯的年代，就用开对平面上的点拟合线

对高维空间的点拟合超平面。

作为最小二乘代价函数的改进

$j(x)=\frac{1}{2}(\left \| Ax -b \right \|_{2}^{2} + \lambda \left \| x \right \|_{2}^{2})$

式中 ℷ >0 则称为正则化参数 (regularization parameters)

代价函数关于变元 x 的共轭梯度

$\frac{\partial j(x)}{\partial x^{H}}=\frac{\partial }{\partial x^{H}}((Ax -b)^{H}(Ax -b)+\lambda x^{H}x)=A^{H}Ax-A^{H}b +\lambda x$

令

$\frac{\partial J(x)}{\partial x^{H}}=0$

得到

$\check{x} = (A^{H}A +\lambda I)^{-1}A^{H}b$

使得 $(A^{H}A +\lambda I)^{-1}$ 替代协方差矩阵的直接求逆 $(A^{H}A )^{-1}$ 的方法常称为Tikhonov 正则化

在信号处理和图像处理中有时也称为松弛法(relaxation method)

Tikhonov 正则化的本质是通过对非满秩的矩阵A的协方差矩阵 $(A^{H}A )$ 的每一个对角元素加入一个很小的扰动 $\lambda$

使得奇异的协方差矩阵 $(A^{H}A )$ 求逆变为非奇异矩阵 $A^{H}A+ \lambda I$ 的求逆，从而大大改善求解非满秩矩阵

$Ax=b$ 的数值稳定性也就是降低cond条件数的大小。

增加的项对其施加一个惩罚，其得到的解比仅优化 $\sum AA^{H}$ 更切合实际

如果矩阵A是满秩矩阵，但存在误差或者噪声是，需要采用与上面相反的做法，就是对上面的协方差矩阵

$A^{H}A$ 加上以恶搞很小的扰动矩阵 $-\lambda I$ 去干扰，类似于上面的公式

$\hat{x}=(A^{H}A-\lambda I)^{-1}A^{H}b$

使分离噪声。

其实这两个公式可以合并， $\lambda$ 本身就带有符号属性，当取得正值的时候是对矩阵的约束，迫使原来的对角协方差元素减少，

取得负值的时候就是分离残差.取0的时候就是普通最小二乘。

参数 $\lambda$ 是使得原始目标函数值尽可能小的同时保证 $\sum AA^{H}$ 不能太大，在二者取得一个很好的平衡。

阅读全文

0 0