线性代数学习笔记4

第十四集　　正交向量与正交子空间

正交向量

正交就是垂直的另一种说法。两向量正交则xTy=yTx=0。当两个向量的夹角为90 度时，按照勾股定理x，y 满足：
零向量与所有向量都正交。
正交子空间
子空间S 与子空间T 正交，则S 中的任意一个向量都和T 中的任意向量正交。
黑板所在的平面和地板所在平面不是正交关系。比如平面的子空间包括只包含零向量的0 空间、过原点的直线以及整个平面。0 空间和过原点的直线正交；经过原点的两条直线若夹角为直角则互相正交。
零空间与行空间正交
矩阵A 的行空间和它的零空间正交。若x 在零空间内，则有Ax=0，将A 表示为行向量的格式：

x 与矩阵A 的行向量点积都等于0，则它和矩阵A 行向量的线性组合进行点积也为0，所以x 与A 的行空间正交。x 为零空间内的任意向量，所以零空间与行空间正交。同理可以证明列空间与左零空间正交。
行空间和零空间实际上把Rn空间分割成了两个正交的子空间。例如对于矩阵：
其行空间是1 维的，向量[1,2,5]是它的基向量，而其零空间是垂直于[1,2,5]并穿过原点的2 维平面。行空间和零空间不仅仅是正交，并且其维数之和等于n，我们称行空间和零空间为Rn空间内的正交补。这表示零空间包含所有和行空间正交的向量。
一个空间中正交子空间的维数之和不可能超过原空间的维数。之前提到的黑板和地板平面不是正交子空间的例子，二者都在3 维空间中，分别为2 维空间，2+2>3，因此不可能正交。
可以称目前讨论的这部分内容是线性代数基本定理的第二部分。第一部分是给出四个子空间和它们的维数，第二部分说明它们是两两互为正交补，第三部分讨论子空间的正交基。这些内容都反映在了本讲座开始的那幅图上。
如何求解一个无解方程组Ax=b 的解。
如果A 是长方形矩阵，m 大于n。当左侧方程数特别多的时候，容易混入“坏”数据，方程变得无解。但是对于数据的可信度我们无从判断，线性代数要做的就是在这种条件下求一个方程的“最优解”。矩阵ATA会发挥重要作用，它是一个n*n 方阵，并且是对称阵。

但是矩阵ATA并不总是可逆。

实际上矩阵ATA 的秩等于A 的秩。因此矩阵ATA可逆要求A 的列向量线性无关。
本章的核心内容就是当Ax=b 无解的时候，求解ATAx^=ATb得到最优解。

第十五集　　子空间投影
投影（射影）Projections

投影问题的几何解释就是：如何在向量a 的方向上寻找与向量b 距离最近的一点。从图中可以看出，这个距离最近的点p，这就是b 在a 上的投影。如果我们将向量p 视为b的一种近似，则长度e=b-p 就是这一近似的误差。因为p 在向量a 的方向上，因此可以令p=xa，而因为它和e 正交，我们可以得到方程：aT(b−xa)=0。x=aTbaTa，p=ax=aaTbaTa。如果b 变为原来的2 倍，则p 也变为原来的2 倍。而如果a 变为原来的2 倍，p 不发生变化。
投影矩阵
将投影问题用投影矩阵的方式进行描述，即为p=Pb，其中P 为投影矩阵。则有P=aaTaTa，其分子是一个矩阵，而分母是一个数。投影矩阵P 是一个对称矩阵。如果做两次投影，第二次投影还在原来的位置。因此矩阵P 有如下性质：PT=P，P2=P。

为什么要投影，如前所述，方程Ax=b 有可能无解，我们需要得到方程的“最优解”。这里的问题在于向量Ax 一定在矩阵A 的列空间之内，但是b 不一定，因此我们希望将b 投影到A 的列空间得到p，将问题转化为求解Ax^=p。

在高维投影
在R3空间内，

如果列向量a1 和a2 构成了平面的一组基，则平面就是矩阵A=[a1　a2]的列空间。已知向量 p 在平面内，则有p=x1^a1+x2^a2=Ax^。
e=b−p=b−Ax^与投影平面正交，因此e与列向量a1和 a2均正交，也就是向量e 与矩阵A 的列空间正交（向量 e存在于矩阵 AT的零空间 N(AT)里）。
得到aT1(b−Ax^)=0和aT2(b−Ax^)=0，写成矩阵形式即为AT(b−Ax^)=0。

当投影矩阵P作用于向量b，相当于把b 投影到矩阵A 的列空间。
若A 是可逆方阵，此时A 的列空间就是整个Rn 空间，b到这个空间的投影就是其本身，投影矩阵等于单位阵。此时可以用(ATA)−1=A−1(AT)−1化简得到P=I。

第十六集　　投影矩阵和最小二乘法


p+e=b，说明b 由两部分组成：p=P b 为A 的列空间中的部分；e=(I-P )b 为A 的左零空间中的部分。

最小二乘法




展开结果为∥e∥2=3C2+14D2+9−10C−22D+12CD，对C求偏导为6C-10+12D=0；对D求偏导为28D-22+12C=0。得到C=2/3，D=1/2。

可以验证，向量p 与e 正交，并且e 与矩阵A 的列空间正交。
pTe=7/6*(-1/6)+5/3*1/3+13/6*(-1/6)=0
eTa1=1*(-1/6)+1*1/3+1*(-1/6)=0
eTa2=1*(-1/6)+2*1/3+3*(-1/6)=0

第十七集　　正交矩阵和施密特正交化
标准正交向量

标准正交向量具有单位长度 1，并且彼此正交，是线性无关的。
标准正交矩阵

注意这里的矩阵 Q 可以不是方阵。
一个标准正交的方阵我们称之为“正交矩阵”。
如果 Q为方阵，因为 QTQ=I ，所以QT=Q−1 。



再给一个长方形矩阵的例子，其列向量为标准正交：

标准正交列向量的优势
1、若 Q 的列向量为标准正交向量，则投影到 Q 的列空间的投影矩阵为：P=Q(QTQ)−1QT。因为QTQ=I，所以P=QQT 。这种情况会降低很多运算量。
2、如果 Q 为方阵，则 P = I ，因为 Q 的列向量张成了整个空间，投影过程不会对向量有任何改变。
3、如果基为标准正交，则方程
即，如果已知标准正交基，在第i个基方向上的投影就等于qTib。比如，b=[1,2,3]，R3中3个基向量是[1,0,0]T，[0,1,0]T，[0,0,1]T，则b在第1个基方向上的投影就等于1，在第2个基方向上的投影就等于2，在第3个基方向上的投影就等于3。

施密特正交化
将线性无关向量组，标准正交化。两个线性无关的向量 a 和 b张成了一个空间，目标是希望找到两个标准正交的向量 q1，q2能张成同样的空间。
有一组正交基 A 和 B ，那么我们令它们除以自己的长度就得到标准正交基：q1=A∥A∥，q2=B∥B∥。
令 A = a ，然后取与 A 正交向量做成标准正交基B，方法就是将 b 投影到 a 的方向，然后取 B = b - p （B 就是之前谈论过的误差 e 的方向）。

则有B=b−p=e=b−AATbATA。如果从等式两端左乘 AT，可以得到 ATB=0。
如果从三个线性无关的向量 a 、 b 和 c 出发，则可以通过从 c 中减去其在 A 和B 两个方向的投影来得到 C 。C=c−AATcATA−BBTcBTB。

参考文献：
线性代数及其应用(美)David C.LayPDF
豆丁网MIT-线性代数笔记（上）