MIT 线性代数（13—15）读书笔记

来源：互联网发布：完美证件照软件编辑：程序博客网时间：2024/06/06 20:14

第十三讲第一阶段总结

前12讲主要是介绍了矩阵的基础知识、Ax=0和Ax=b、四个空间（A的零空间、列空间、行空间和左零空间）。本讲主要是介绍了一些基本题目和简要定理。

第一题. 令u、v、w是R^7空间内的非零向量：则u、v、w生成的向量空间可能是1,2,3维的。

第二题. 秩(rank)的问题

第三题. 求矩阵A

1）求A的行向量的生成空间的维数。
由已知可得A 是3×3 的矩阵，A 的零空间的维数是2，可从通解中看到，所以行空间的维数是3-2=1

2）矩阵A 是怎样的？
由x 为(2 0 0)可得，A 的第一个列向量的两倍是(2 4 2)，得A 的第一列为(1 2 1)，然后，一个矩阵的零空
间包含（0 0 1），这说明矩阵的最后一列均为0，最后由零空间向量(1 1 0)可得A 第二列为(-1 -2 -1)。

3）向量b 满足什么条件时，Ax=b 有解
很明显向量b 在列空间时有解，所以实际上是在求列空间。

第四题

1）有一方阵的零空间中只有零向量，则其左零空间也只有零向量。（由行空间的维数和列空间的维数相等可推出)

2）由5×5矩阵组成的矩阵空间，其中的可逆矩阵能否构成子空间？两个可逆矩阵相加的结果并不一定可逆，况且零矩阵本身并不包含在可逆矩阵中。其中的奇异矩阵（singular matrix，非可逆矩阵）也不能组成子空间，因为其相加的结果并不一定能够保持不可逆。

第五题

1）在不解出B的情况下，求B的零空间。

2）求解Bx=[1 0 1]^T的通解，只要得到特解和零空间就可得到通解=x_p+x_n。

因为B 的第一列和[1 0 1]^T是一样的，所以可以得到一个特解[1 0 0 0]^T，加上1）得到的零空间即可：

第六题

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

第十四讲正交向量与子空间与Ax=b

1.正交向量

在n 维空间中，向量之间的夹角是90 度，
1) 判断两个向量X,Y 是否正交，求乘积(X^T)Y 是否等于0，即如果(X^T)Y=0，则X,Y 正交。

2) 零向量与任何向量都正交。

2.正交子空间

2.1定义

定义：如果子空间S 与子空间T 正交，那么S 中的每个向量都和T 中的每个向量正交。

如果两个子空间正交，那么他们必定不会交与某个非零向量。

例如：

零向量和平面内任意其他子空间正交；平面内两条垂直的直线子空间也是正交子空间。

2.2正交补

矩阵A的行空间和零空间是将整个n 维空间一分为二的两个相互正交的子空间，两个子空间的维数和为n，称为n维空间里面的正交补（即零空间包含了所有与行空间正交的向量）。

这是因为：若Ax=0 存在零空间，则零空间的向量x与矩阵A相乘Ax=0，则表示A的各行乘以x 向量得到零向量，说明A的行向量与x是正交的，但是是否A的行空间(行空间包含这些行向量线性组合得到的所有向量)里所有的向量都与x正呢？很明显x 正交于行向量的线性组合。

同理：列空间和左零空间是将整个m 维空间一分为二的两个相互正交的子空间，两个子空间的维数和为m，称为m维空间里面的正交补（左零空间包含了所有与零空间正交的向量）。如下图所示：

3.Ax=b无解时的求解方法

如何求Ax=b 一个无解的方程组的解，即当Ax=b 无解时（b不在A的列空间），如何去解这个方程组。对于长方矩阵（很多情况下是无解的，因为b很可能不能由A的列向量线性组合得到），有时候A的m方程很多，n未知数很少，这时候有些方程可能得到的结果是有很大误差的，即坏数据，即b 中有一部分是坏数据，其实求出方程的解只需要一小部分方程就够了，需要做的是，把这些”坏数据“筛选出来，这是线性代数需要解决的问题，如何去求这个解，最优解是什么。（可表述为：我们得到一些方程（这些方程无解），如何求出它们的最优解？）

解法：

1）不断去掉一些方程，直到剩下一个可逆的方阵，然后求出它的解。但这种方法不好判断。

2）矩阵A是m×n 的长方矩阵，那么(A^T)A结果就是一个n×n 的对称方阵。因此，当Ax=b这是一个坏方程时，只需要把坏方程两侧乘以A转置，就得到好方程。

注：

1）坏方程两侧乘以A转置之后的x'与Ax=b 是不同的，我们希望新的方程组是可解的，而且这是最优解。
2）对于(A^T)A，它不一定是可逆的，(A^T)A的秩等于A的秩，因此(A^T)A 的零空间等于A 的零空间。（下一讲会进行证明）。
N((A^T)A)=N(A)
Rank((A^T)A)=Rank(A)
因此可得，当且仅当A的零空间里面只有零向量（A的各列线性无关）时，(A^T)A 可逆。

4.总结

1. 正交向量和正交补的定义。

2. 求解Ax=b中含有坏数据的方法以及两侧乘以A转置的注意事项。

第十五讲子空间的投影和Ax=b

此课老师说要名垂千古，就当作重中之重吧。
引子：
上一讲中Ax=b无解的时候说起，当其无解的时候，我们求的解是什么？
我们想要的"最优解"，即这个节对于原方程偏差最小，我们知道Ax=b有解时b在A的列空间中；当无解时，我们取b在A的列空间的b'，Ax=b'理论上是"最优解"。

1.投影矩阵

1.1 二维欧式空间的投影

如图向量b到向量a的最短距离是b在a上的投影是p，a垂直于e，e就像误差e=b-p，e与p互相垂直，p是a的某个倍数x，p=xa，它在a的一维子空间里，可得到一个方程，求解x，方程为：(a^T)(b-xa) = 0。

其中(a^T)a是一个常数，a(a^T)是一个矩阵。假设b变成原来的2倍，那么投影p也变成原来的2倍；如果a变为原来的2 倍，p则不变。

假设把上式写成：p=Pb,则P称为投影矩阵，可以说投影矩阵作用与某个向量后，得到其投影向量， $projection_p=Pb$ 。

投影矩阵P的性质：

1）rank(P)=1，因为P中a(a^T)是一个矩阵，而a秩为1；

2）向量a是列空间的基，因为投影矩阵乘以任何向量b后仍旧在其列空间，因此投影矩阵的列空间C(P)是通过a的一条线；

3）P是对称的(P^T)=P；

4)对投影好的vectorp再次投影结果不变，所以P^2=P。

1.2高维空间

1）正如引子所写，为什么要做投影？

因为Ax=b也许会无解，可能等式太多，造成无解，那么只能求解最接近的那个可能问题。Ax总在A的列空间里，那么如果将b微调，将b变为列空间中最接近它自己的那一个，将问题换做求解Ax'=p （x'不是原来那个不存在的x，而是那个最接近解的x'，即最优解），p 是b在列空间上的投影（列空间内最合适的右侧向量）。这就是要找最好的那个投影的原因。

2）在三维空间中，将向量b投影在平面上A。同样的，p是向量b在平面A上的投影，e是垂直于平面A的向量，即b在平面A法方向的分量。设平面A的一组基为a_1,a_2，则投影向量p=(a_1)(x'_1)+(a_2)(x'_2)，我们更倾向于写作p=Ax'，这里如果我们求出x'，则该解就是无解方程组最近似的解。

它与直线上的投影方程很相似，对于直线来说，矩阵A只有一列，就是一个小写的a，本质都是(A^T)e = 0 。所以，e在(A^T)的零空间中，从前面几讲我们知道，左零空间与列空间垂直，则e与A的列空间垂直，与我们设想的一致。

3）那么x'是什么？投影p 是什么？投影矩阵P 是什么？（与一维情况下得到的公式相比较）

2. 最小二乘法

如图，要找到一条最优的直线来拟合这些点，误差最小。我们要确定C 和D的大小，来得到b=C+Dt 方程。

根据条件可以得到方程组 $\begin{cases}C+D&=1 \\C+2D&=2 \\C+3D&=2 \\\end{cases}$ ，写作矩阵形式 $\begin{bmatrix}1&1 \\1&2 \\1&3\\\end{bmatrix}\begin{bmatrix}C\\D\\\end{bmatrix}=\begin{bmatrix}1\\2\\2\\\end{bmatrix}$ ，也就是我们的 $Ax=b$ ，很明显方程组无解。