Linear Algebra - Lesson 17. 正交矩阵和Gram-Schmidt正交化

Schedule

• Orthogonal basis q1,q2,...qn
• Orthogonal matrix Q
• Gram-Schmidt A→Q

Orthogonal vectors - 正交向量

qTiqj={01if i≠jif i=j

假设Q为标准正交向量组成的矩阵,则QTQ=I(orthogonal matrix when it is square)
只有当是方阵的时候,才叫做正交矩阵(流传下来的说法)
当是矩阵的时候,QT=Q−1
If Q is square then QTQ=I tell us QT=Q−1

Example
perm Q=⎡⎣⎢010001100⎤⎦⎥
则QT=⎡⎣⎢001100010⎤⎦⎥也是一个正交矩阵.
QTQ=I

Q=[111−1]并不是一个正交矩阵,虽然列相互正交,但是长度并非是单位长度,所以需要同除以2√,得到12√[111−1]

假设Q=[Q1Q3Q2Q4]=⎡⎣⎢⎢⎢11111−11−111−1−11−1−11⎤⎦⎥⎥⎥
则将Q中向量除以2(向量长度),从而得到单位向量, 将Q转换为正交矩阵,从而得到阿德玛矩阵(Adhemar Matrix)
阿德玛矩阵是一种只有1和-1的正交矩阵,有些维度可以,有些维度则没有阿德玛矩阵.

上述例子均是方阵,现在举个长矩阵的例子.
Q=13⎡⎣⎢122−2−12⎤⎦⎥
这样就有二维空间的一组标准正交基.
这两个向量是标准正交的,它们是其所生成空间的标准正交基.

现在想求出第三个向量, 则可以写下一个线性无关的向量,并通过Gram-Schmidt方法进行格式化.

求得Q有什么好处?
Suppose Q has orthonormal columns,
Project onto Q′s column space.
What’s the Projection matrix P?
P=Q(QTQ)−1QT=QQT
假设矩阵是方阵并且列向量相互正交,则列空间就是整个空间.
则QQT=I if Q is square.

投影矩阵的两个性质:
对称矩阵;
投影二次,相当于投影一次.

原先的投影公式是ATAx^=ATb
现在A替换成Q, 则投影公式变为 QTQx^=x^=QTb→x^i=qTib
其含义是在第i个基方向上的投影就等于qTib

Gram-Schmidt - 格拉姆-施密特

线性无关的两个向量 a,b 想对其进行标准正交化,得到正交化后的向量组 A,B, 进而得到标准正交的向量组q1=A||A||,q2B||B||.
假设a为A,则b在A上的投影记作p,则b与A正交的分向量B=e=b−p
B=b−ATbATAA
如何验证B与A正交? ATB应该为零.
ATB=AT(b−ATbATAA)=0

假设现在存在线性无关的三个向量a,b,c, 该如何求解?
一样的方法,先假设a=A,然后求B,最后求C.
C应该是c减去投影在A和B上的分量.
C=c−ATcATAA−BTcBTBB

举个实际的例子.
a=⎡⎣⎢111⎤⎦⎥,b=⎡⎣⎢102⎤⎦⎥
按照上述解法,A=a,则B=⎡⎣⎢102⎤⎦⎥−33⎡⎣⎢111⎤⎦⎥=⎡⎣⎢0−11⎤⎦⎥
Q=[q1q2]=⎡⎣⎢⎢⎢⎢13√13√13√0−12√12√⎤⎦⎥⎥⎥⎥
则列空间没有发生变化.

消元法可以用A=LU表示.
Gram-Schmidt可以用A=QR1R is upper triangular