MIT18.06课程笔记15：Projection Matrix投射矩阵

课程简介

18.06是Gilbert Strang教授在MIT开的线性代数公开课，课程视频以及相关资料请见https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/index.htm。

课程笔记

1. 求取投射矩阵P

这部分主要探讨如何通过一个矩阵将任意向量投射到指定超平面。
超平面通常通过basic（基）给出，即设给出的不相关基为{a1,a2,...,am}，令A=[a1,a2,...,am]，超平面就是C(A)，即A的column space（∀x,Ax∈C(A)）。
投射有两个等价定义：设b是任意向量，b̂ 是投射后的向量，则有b̂ 在指定超平面内(b̂ ∈C(A))，并且1. b̂ 是超平面内与b距离最近的向量（欧式距离）(∀b′∈C(A),(b′−b)T(b′−b)≤(b̂ −b)T(b̂ −b)),或者 2. b−b̂ 与超平面垂直（AT(b̂ −b)=0）。
求投射矩阵P使得Pb=b̂ 。

通过上诉条件，可以得出以下公式:
1. b̂ =Ax for some unknown x
2. AT(b̂ −b)=0
可得
x=(ATA)−1ATb
进而
b̂ =Ax=A(ATA)−1ATb
Pb=b̂ 
最终得到
P=A(ATA)−1AT

2. 讨论投射矩阵的性质

1. PT=P
2. range(P)=range(A) (因为对于任意x，Px都位于C(A)内，即C(P)=C(A)）
3. P∗P=P （超平面上的点投射到超平面上其位置不变）
4. Pb∈C(A) ∀b
5. ∀b (b−Pb)∈N(AT) （N(A)指的是A的null space，即∀x∈N(A) Ax=0）