线性代数-Gilbert Strang(第三部分)
来源:互联网 发布:淘宝官方旗舰店是正品 编辑:程序博客网 时间:2024/05/17 13:13
第二十六课时:对称矩阵和正定性
本节研究对称矩阵的特征值和特征向量。
对称矩阵的性质:
- 实对称矩阵的特征值是实数
- 在对称矩阵的特征向量中,能挑出一组是垂直正交的
- 如果特征值互不相同,那么每个特征值的特征向量是在单独的一条线上,那些线是垂直正交的;
- 如果特征值重复,那就有一整个平面的特征向量,在那个平面上,我们可以选择垂直的向量
- 将这组特征向量转化为标准正交向量,由它们组成的矩阵称为标准正交矩阵。
- 如果是复矩阵,不仅要求转置相等,而且要求共轭,即:
A=A¯T
通常情况下,矩阵A可表示为
当 A 是对称矩阵的时候,
证明:实对称矩阵的特征值是实数
设
对第二个式子两边转置并右乘
对比可知:
证明:实对称阵属于不同特征值的的特征向量是正交的
设
分别取转置,并分别右乘
因为
因此
每一个对称矩阵都是一些相互垂直的投影矩阵的组合
某单位向量(如前面的标准正交向量),乘以自己的转置得到的是什么矩阵:投影矩阵,记得投影矩阵的重要性质:
对称矩阵特征值的符号:
- 实对称矩阵的特征值的符号与主元的符号一致;
- 正主元的个数等于正特征值的个数;
- 特征值之积等于主元之积,因为特征值之积等于行列式,主元之积为行列式。
正定矩阵
如果一个实对称矩阵的特征值都是正数,那么它是正定矩阵。
性质:
- 主元也都是正数
- 所有子行列式都是正数
正定矩阵将方阵特征值,主元,行列式融为一体。
第二十五课时:复矩阵和快速傅里叶变换FFT
复向量和复矩阵
定复向量z,每个元素是复数,z 向量是在
复向量的模
复向量的模不能向实向量那样求
复向量求模时,在做转置的时候还需要求共轭复数。
用
埃尔米特矩阵(复对称矩阵)
埃尔米特矩阵:对于复矩阵,复对称矩阵需满足的是AH=A,AH 表示的是对角线上元素不变,其余对称的元素转置时变为共轭复数。
实对称矩阵的结论对复对称矩阵同样成立:对称矩阵和埃尔米特矩阵的特征值是实数,特征向量相互垂直。
酉矩阵(复空间的标准正交矩阵)
如果一组复向量
综合考虑实矩阵和复矩阵可知,正交矩阵需要满足的条件即为:
向量正交,单位向量)。
傅里叶矩阵:最著名的酉矩阵
n阶傅里叶矩阵定义如下:
元素是
例如,
- 当
n=6 时,w=ei2π/6=12+3√2i,w6=1 ,可以说 1 的 6 次方根是它们,w 是原根; - 当
n=4 时,w=ei2π/4=i (刚好是90°),w2=−1 ,w3=−i ,w4=1 。 F4 定义如下:F4==14√⎡⎣⎢⎢⎢⎢11111ii2i31i2i4i61i3i6i9⎤⎦⎥⎥⎥⎥=⎡⎣⎢⎢⎢11111i−1−i1−11−11−i−1i⎤⎦⎥⎥⎥12⎡⎣⎢⎢⎢⎢1010010110−100i0−i⎤⎦⎥⎥⎥⎥⎡⎣⎢⎢⎢⎢111i2111i2⎤⎦⎥⎥⎥⎥⎡⎣⎢⎢⎢1000001001000001⎤⎦⎥⎥⎥ F−14=FH4,FH4F4=I
傅里叶变换:向量左乘矩阵
傅里叶逆变换:向量左乘矩阵
一个很好的性质:傅里叶矩阵可以分解为一些列“稀疏矩阵”。
快速傅里叶变换
P是 奇偶置换矩阵,上部分阶梯型的1 是在列
所以:
而且,
对于n 阶傅里叶变换,无需
n2 次乘法,只需要12nlog2n 即可。
这是矩阵分解FFT的功劳。
第二十八课时:正定矩阵和二次型
2x2 矩阵正定性(positive definite)的判定:
λ1>0,λ2>0 - 所有子行列式大于零:
a>0,ac−b2>0 - 主元方法:第一个主元
a>0 ,第二个主元(ac−b2)/a>0 - 二次型(quadratic form)判断方法::
xTAx>0 ,x 是任意非零任意向量,x=(x,y),f(x,y)=xTAx=ax2+2bxy+cy2
其中最后一种方法是大多数情况下正定性的定义。
定理: xTAx>0⇔ A 的所有特征值是正的 ,其中 An×n 为实对称矩阵。
证明: 充分性
:若
因此
必要性
:若 其中:
由此可得:
因此,
半正定矩阵(semi-positive definite matrix):
- 不是正定矩阵
- 对称的
- 成为正定矩阵的临界点
- 奇异矩阵
- 有特征值0
- 特征值大于等于0
判定非正定矩阵
对于矩阵
经过原点,在某个方向上向上,但在另一个方向向下,像马鞍面,中间的那个点就是鞍点,是某个方向上的极大值,另一个方向的极小值。实际上,最佳观测方向是沿特征向量的方向。
判定正定矩阵
对于矩阵
它的图像形状像个碗,纯二次形式,经过原点,有极小值,极小值所在切面所有一阶导数都为0。如果在碗状上高度为1 的位置做一个切面,那这个切面就是一个椭圆
怎样判断极小值
微积分中,判定是否有极值,首先需要判断导数是否为0,然后要确定是极大值还是极小值,此时需要看二阶导数,二阶导数大于0 时,有极小值。
而现在,线性代数中,函数
用
主轴定理
考虑,3×3 的矩阵。如果在f 所表示的几何图形上面,高度为1(f=1)的地方做切割,得到的图形则是一个扁的橄榄球,有一个长轴,另外两个轴相等,类似于一个矩阵有一重复的特征值,另一个不同(3 个特征值)。如果是球的话,那就是单位矩阵,所有的特征值相同。
但是一般的情况下,三个特征值都不相同,它相当于有一个长轴,一个中轴,一个短轴,三个轴的方向就是特征向量的方向,轴的长度由特征值大小来决定。
可以将对称矩阵
正定矩阵的性质:
- 若
A 是一个正定矩阵,那么A−1 也是正定矩阵(其特征值为原来的倒数) 如果
A,B 都是正定矩阵,那么A+B 也是正定的在第16课时中,我们已经证明了:
如果矩阵
Am×n 各列线性无关,则ATA 是可逆矩阵
这也是最小二乘方程存在最优解的条件。
其实
第二十九课时:相似矩阵和若尔当形
相似矩阵(similar matrix)
我们注意到,对角矩阵
性质1:相似矩阵具有相同的特征值
注意特征向量并不相同.此性质说明具有相同特征值的一类矩阵,两个矩阵之间由一个可逆 证明
:
有
性质2:若 A 的特征向量为 x ,则相似矩阵 B 的特征向量为 M−1x ;
特殊情况
当矩阵
假设
- 对角阵
A=[4004] ,那么M−1AM 仍旧为A ,这样的对角矩阵是单一的一类矩阵,它的相似矩阵只有自己。 - 不可对角化的矩阵
A=[4014] ,它可以找到一类矩阵与它相似(但不是对角阵),如果把右上角的元素换成其他的数,也是一样的能找到相应的M 使之与其相似
右上角是 1 的特征值重复的三角矩阵称为若尔当标准型(Jordan form)。若尔当标准型是最接近对角阵的一个,但又不完全对角化。
不可对角化的矩阵的相似矩阵
对于有重复特征值的无法对角化的矩阵,都可以通过某种特殊方法,完成近似的“对角化”。
相似矩阵
有相同的迹和相同的行列式。它们的特征值相等,且所有特征值都重复。比如:(trace=8,det=16)
不相似的矩阵
有的矩阵虽然有相同的特征值,但它们并不相似
若尔当块大小不一样,所以两个矩阵不相似
- 第一个矩阵,
λ1=λ2=λ3=λ4=0 ,特征向量为整个零空间,零空间是二维的。如果把第一行的第三个元素改为7,特征值仍然相等,特征向量个数仍然相等,修改过的矩阵和原先的矩阵相似,但因为之前的矩阵很美观,所以选择前者。 - 第二个矩阵,4 个特征值仍然全为0,特征向量的个数为2
但若尔当认为第二个矩阵并不相似与第一个矩阵。
第一个矩阵由3×3 的矩阵和1×1 的矩阵若尔当块组成,第二个矩阵由两个2×2 的分块组成,这些分块称为若尔当块。因为若尔当块大小不一样,所以若尔当认为两个矩阵并不相似。
若尔当块
若尔当阵J
由若尔当块构成的矩阵,特征值位于对角线上,对角线上方有若干个1,若尔当块的数量等于特征向量的个数,因为每一块对应于一个特征向量。
若尔当定理
每个方阵
第三十课时:奇异值分解(SVD)
AB 与 BA 的特征值相同
奇异值分解(Singular Value Decomposition,SVD),这是矩阵最终和最好的分解。任意矩阵
正定矩阵的奇异值分解
奇异值分解的理解
首先,这个行空间能找到一组正交基(格拉姆-施密特正交化),但这组正交基经过
转化为:
如果
需要把整个
求 V 和 U 的方法
找V(行空间的正交基+零空间)
找U(列空间的正交基+左零空间)
因此,
奇异值分解
在线性代数的四个子空间中选出合适的基,
例1:
如下
A=\begin{bmatrix}4&4\\-3&3\end{bmatrix}
A 矩阵不是对称矩阵,它的特征向量不是正交的。计算A^TA
例2:
这时矩阵
问题:如何理解奇异值?
https://zhihu.com/question/22237507/answer/53804902
第三十一课时:线性变换与对应矩阵
线性变换(linear transformation)的两个条件:
T(v+w)=T(v)+T(w) T(cv)=cT(v)
例如:
- 投影就是一种线性变换。通过线性变换使得平面内的一个向量变成平面内的另一个向量。
T:R2→R2 ,这种变换关系通常称为“映射”。在平面中将向量v 投影到直线上,T(v) 就像一个函数,对某输入进行变换,结果得到一个输出; - 特例:T(0)=0,这可以用来判断某些变换是否是线性变换;
- 平面平移:假如平面内的所有向量,沿着某个方向平移
v0 ,T(v)=v+v0 ,这不是线性变换,因为不符合以上两个条件。平面平移不是一个线性变换; - 求向量长度:
T(v)=∥v∥ ,T:R3→R 不是一个线性变换; - 旋转45°:是一个线性变换
T(v)=Av 是一个线性变换
因为它满足:
例如:
又如:线性变换 T:R^3\rightarrow R^2
线性变换对输入空间和输出空间的影响 ???
假设输入空间
只要确定了线性变换对于输入空间基向量的影响,就可确定对整个输入空间的影响。因为
矩阵A 表示线性变换
还是考虑投影变换,假定输入空间的基向量,第一个基向量就是被投影的直线上的单位向量
设输入向量
(投影矩阵的特征值为0 和1)
这组基实际上都是线性变换(投影变换)的特征向量,所以得到的矩阵是由特征值组成的对角阵
如果以特征向量为基,可以得到对角阵
假如上例中以原始坐标系作为基,将得到不一样的投影矩阵,同样的投影,但矩阵不再是对角阵。也就是说不同的矩阵可表示同一线性变换。
如何确定 A
假设输入基和输出基分别是
矩阵的第一列:线性变换对于第一个基向量产生怎样的影响?最直接的方法是:对
第二列:
这样就可以得到变换矩阵A,A 乘以输入向量可得到变换后的向量。线性变换可以在没有坐标系的情况下进行,而矩阵用坐标来表示线性变换。
更重要的是:矩阵的逆相当于线性变换的逆。矩阵的乘积相当于线性变换的乘积。矩阵乘法也源于线性变换。
一个特别的线性变换
这个线性变换的作用是求导。三维空间到二维空间的线性变换,输入空间和输出空间的基,输入和输出如图所示。其实,求导就是线性运算。
例如,对
此时
第三十二课时:基变换和图像压缩(略)
本节课的主题仍是线性变换与矩阵关联。
图像压缩
压缩包括无损压缩和有损压缩,这里讲有损压缩。
一个好的基需要有哪些性质?
- 计算快;
- 正交的
- 良好的压缩性,少量的基向量就能接近信号,能够重现图像。
傅里叶基
小波基
JPEG 所用的最好的基就是傅里叶基
基变换
已知一个基上的向量,变换到不同的基中
矩阵变换
已知确定的线性变换
第一组以
第二组以
A 和B 是相似的,即有
线性变换,如果变成一组不同的基去做变换,发生了两件事:
- 每个向量有了新坐标,新旧坐标的关系为
x=Wc ; - 每个矩阵变了,每一个变换有一个新矩阵,新矩阵之间的关系就是
B=M−1AM 。
在信号图像应用中,很多情况下用小波基或者傅里叶基,但最好的基是特征向量基,不过找特征向量基代价较大。
第三十三课时:复习三
主要内容:
- 特征值与特征向量
- 微分方程
- 对称矩阵
A=AT 的特征值是实数,总存在足够的特征向量特征值使它可以对角化:A=QΛQT - 正定矩阵
- 相似矩阵满足
B=M−1AM ,A 与B 的特征值相同,它的关键在于,通过不同的基表示同样的变换动作,且Bk=M−1AkM ,所以,虽然M 改变了矩阵的特征向量,但不会改变特征值 - 奇异值分解SVD
要点:
- 正交矩阵的特征值的绝对值等于1,正交矩阵的作用就像旋转,不会改变向量的长度;
- 当矩阵满足:
AAT=ATA 时,A 的特征向量正交。对称阵,反对称阵,正交矩阵是满足此条件的三类矩阵(统称正规矩阵);- 之前我们有结论:实对称矩阵不同的特征值对应的特征向量是相互正交的,在这里我们将其扩展到反对称矩阵和正交矩阵。
- SVD:任意矩阵
A=UΣVT ,V 是ATA 的特征向量矩阵,U 是AAT 的特征向量矩阵。具体做奇异值分解时,奇异值σ 是对角矩阵Σ 对角线上的元素,它的值等于(ATA )的特征值的正平方根,但值得注意的一点是:在求AAT 的特征向量的时候,方向要由Avi=σiui 来确定
(微分方程,exp(At))解微分方程:
dudt=Au=⎡⎣⎢010−1010−10⎤⎦⎥u
答:
(1)通解的形式为:u(t)=c1eλ1tx1+c2eλ2tx2+c3eλ3tx3
求出特征向量和特征值,然后通过初始值确定c1,c2,c3 常数。
因为这是个奇异矩阵,故有特征值0;同时,这是个反对称矩阵(A=−AT ),故特征值为纯虚数,两个非零特征值分别为±2√i 。u(t)=c1x1+c2e2√itx2+c3e−2√itx3
此解既不发散也不收敛于0,而是稳定在某值,且具有周期性,周期为2√π 。指数矩阵形式如下:
(2)eAt=SeΛtS−1 (特征值与特征向量)已知
3×3 矩阵的特征向量和两个特征值:λ1=0,λ2=c,λ3=2x1=⎡⎣⎢111⎤⎦⎥,x2=⎡⎣⎢1−10⎤⎦⎥,x3=⎡⎣⎢11−2⎤⎦⎥
(1)当c满足什么条件时,矩阵可对角化?
(2)当c为何值时,矩阵对称?
(3)当c为何值时,矩阵正定?
(4)矩阵可能是马尔科夫矩阵吗?
(5)A/2可能是投影矩阵吗?
答:
(1)能否对角化只与是否有足够多的特征向量有关,因此c可取任何值;
(2)实对称矩阵的特征值为实数,且特征向量正交。故c为实数即可;
(3)不可能,因为已经有特征值0
(4)不可能,因为马尔科夫矩阵的特征值都小于等于1.
(5)投影矩阵的特征值为0 和1,P2=P ,λ2=λ 。所以当c=2 或0 时满足条件(奇异值分解)对于如下情况,因为奇异值不等于0,所以这个矩阵肯定是2×2 可逆矩阵。
A=UΣVT=[u1u2][3002][v1v2]T
如果Σ 对右下角不是2 是0,那么矩阵A 是一个奇异矩阵。秩为1,那么零空间呢?0 特征值对应的特征向量是v2 ,v2 就在零空间里。从SVD 可以看到四个基本子空间。A 对称且正交
(1)A 的特征值是1 或-1。
因为对称阵的特征值是实数,正交矩阵的特征的绝对值是1。
(2)A 是非奇异矩阵
(3)(A+I)/2 是投影矩阵。
验证P2=P ,且特征值为 0 和 1.
- 线性代数-Gilbert Strang(第三部分)
- 线性代数-Gilbert Strang(第一部分)
- 线性代数-Gilbert Strang(第二部分)
- MIT 公开课:Gilbert Strang《线性代数》课程笔记(汇总)
- 线性代数复习 第三章 向量
- 第三部分
- hdu a strang lift
- 线性代数
- 线性代数
- 线性代数
- 线性代数
- 线性代数
- 线性代数
- 线性代数
- 线性代数
- 线性代数
- 线性代数
- 线性代数
- Git 的一些基本使用
- 根据先序和中序重建二叉树:
- html(一)
- HTTP长连接、短连接使用及测试
- 创建文件并写入内容
- 线性代数-Gilbert Strang(第三部分)
- OOP
- javaSE今天开始学习java基础
- linux内核地址
- Linux C++ 获取某一进程的CPU占用率以及内存占用情况
- Easy-1
- Intellij IDEA Debug调试技巧
- 低功耗电池类移动视频方案
- 关于JavaScript数组,你所不知道的3件事