2.9 穆尔彭罗斯伪逆

声明：该文章翻译自MIT出版的《DEEP LEARNING》，博主会定期更新文章内容。由于博主能力有限，中间有过错之处希望大家给予批评指正，一起学习交流。

只有方阵定义了矩阵求逆。假设我们得到矩阵的左逆，这样的话我们就能通过两边都左乘逆，解决下面的线性等式

Ax=y

，得到

x=By

依赖于问题的结构，不太可能设计出唯一的 A 到 B 的映射。

如果 A 高度比宽度大，那么这个等式可能无解。如果 A宽度比高度大，那么可能有多个解。

穆尔彭罗斯伪逆让我们在这些情况下取得一些进展。的伪逆定义如下：

A+=limα↘0(ATA+αI)−1AT

计算伪逆的实用算法不是基于定义的，而是公式：

A+=VD+UT

其中是奇异值分解，对角矩阵 D的伪逆 D+通过取非零元素的倒数然后将结果矩阵转置得到。

当 A 的列大于行，那么用伪逆解决线性方程提供了一种解法。特别地，它提供了具有最小欧几里德范数 ∥x∥2的解 x=A+y

当 A的行大于列，可能没有解。在这种情况下，用伪逆得到一个 x，并且 Ax 尽可能的靠近 y，用欧几里德范数的形式表示是 ∥Ax−y∥2