MIT 线性代数(34—35)读书笔记
来源:互联网 发布:阿里云深圳机房ip地址 编辑:程序博客网 时间:2024/06/04 19:33
第三十四讲:左右逆和伪逆
前面我们涉及到的逆(inverse)都是指左、右乘均成立的逆矩阵,即
左逆(left inserve)
记得我们在最小二乘一讲(第十六讲)介绍过列满秩的情况,也就是列向量线性无关,但行向量通常不是线性无关的。常见的列满秩矩阵
列满秩时,列向量线性无关,所以其
另外,此时行空间为
现在来观察
- 顺便复习一下最小二乘一讲,通过关键方程
ATAx^=ATb ,A−1left 被当做一个系数矩阵乘在b 向量上,求得b 向量投影在A 的列空间之后的解x^=(ATA)−1ATb 。- 如果我们强行给左逆左乘矩阵
A ,得到的矩阵就是投影矩阵P=A(ATA)−1AT ,来自p=Ax^=A(ATA)−1AT ,它将右乘的向量b 投影在矩阵A 的列空间中。
再来观察
2.右逆(right inverse)
可以与左逆对称的看,右逆也就是研究
行满秩时,矩阵的列空间将充满向量空间
与左逆对称,再来观察
同样的,如果我们强行给右逆右乘矩阵
前面我们提及了逆(方阵满秩),并讨论了左逆(矩阵列满秩)、右逆(矩阵行满秩),现在看一下第四种情况,
3.伪逆(pseudo inverse)
3.1定义
有
列空间
C(A)∈Rm, dimC(A)=r ,左零空间N(AT)∈Rm, dimN(AT)=m−r ,列空间与左零空间互为正交补;行空间
C(AT)∈Rn, dimC(AT)=r ,零空间N(A)∈Rn, dimN(A)=n−r ,行空间与零空间互为正交补。
现在任取一个向量
而矩阵
那么,我们现在只看行空间与列空间,在行空间中任取两个向量
现在我们来证明对于
- 反证法,设
Ax=Ay ,则有A(x−y)=0 ,即向量x−y∈N(A) ; 另一方面,向量
x,y∈C(AT) ,所以两者之差x−y 向量也在C(AT) 中,即x−y∈C(AT) ;此时满足这两个结论要求的仅有一个向量,即零向量同时属于这两个正交的向量空间,从而得到
x=y ,与题设中的条件矛盾,得证。
伪逆在统计学中非常有用,以前我们做最小二乘需要矩阵列满秩这一条件,只有矩阵列满秩才能保证
ATA 是可逆矩阵,而统计中经常出现重复测试,会导致列向量线性相关,在这种情况下ATA 就成了奇异矩阵,这时候就需要伪逆。
3.2 伪逆求解
接下来我们介绍如何计算伪逆
- 其中一种方法是使用奇异值分解,
A=UΣVT ,其中的对角矩阵型为Σ=⎡⎣⎢⎢⎢⎢⎢⎢σ1⋱σ2[0]⎤⎦⎥⎥⎥⎥⎥⎥ ,对角线非零的部分来自ATA, AAT 比较好的部分,剩下的来自左/零空间。
我们先来看一下
观察
- 接下来我们来求
A 的伪逆:A+=VΣ+UT
4. 总结
1.
1)矩阵可逆:
即两边逆,
向量。
2)左逆(
当列满秩,列向量线性无关,行向量不一定,
3)右逆(
当行满秩,行向量线性无关,
4)伪逆(
行空间中向量
x 对应着列空间中的Ax (零空间中的x 乘以A 得零Ax=0 ), 行空间中向量y 对应着列空间中的Ay 。但如果要从列空间得到行空间的向量呢,要得到行空间的向量,那么
x=A+(Ax) ,A+ 就是伪逆,伪逆把左零空间变为0 ,即如果A+ 乘以左零空间的向量,结果为0 。假设没有零空间的干扰,即假设零空间只有零向量,存在逆,那么行空间的向量
x 得到列空间的向量Ax ,反过来,通过A 的逆就能从列空间得到行空间,A−1(Ax)=x 。
(ATA)−1AT∗A=I , 如果将左逆写在右边将得不到单位矩阵了, 那么A(ATA)−1AT 是在列空间投影的投影矩阵,它会尽量靠近单位矩阵,一个投影矩阵很想成为单位矩阵,但不可能做到。
2.求解伪逆(SVD分解)
第三十五讲:期末复习
依然是从以往的试题入手复习知识点。
1.
已知
首先,最容易判断的是
综上,有
根据所求写出一个矩阵
ATA 可逆吗?是,因为r=n ,矩阵列向量线性无关,即列满秩。AAT 正定吗?否,因为AAT 是3×n 矩阵与n×3 矩阵之积,是一个三阶方阵,而AAT 秩为2 ,所以不是正定矩阵。(不过AAT 一定是半正定矩阵。)求证
ATy=c 至少有一个解:因为A 的列向量线性无关,所以AT 的行向量线性无关,消元后每行都有主元,且总有自由变量,所以零空间中有非零向量,零空间维数是m−r (可以直接从dimN(AT)=m−r 得到结论)。
2.
设
按列计算矩阵相乘,有
若
Ax=v1−v2+v3=0 ,则解是唯一的吗?为什么。如果解释唯一的,则零空间中只有零向量,而在此例中x=⎡⎣⎢1−11⎤⎦⎥ 就在零空间中,所以解不唯一。若
v1,v2,v3 是标准正交向量,那么怎样的线性组合c1v1+c2v2 能够最接近v3 ?此问是考察投影概念,由于是正交向量,所以只有0 向量最接近v3 。
3.
矩阵
这是个马尔科夫矩阵,前两之和为第三列的两倍,奇异矩阵总有一个特征值为
再看马尔科夫过程,设从
到这里我们只需求出
剩下就是求
4.
对于二阶方阵,回答以下问题:
求投影在直线
已知特征值
5.最小二乘问题,因为时间的关系直接写出计算式和答案,
求投影后的向量
求拟合直线的图像:
接上面的题目
求一个向量
b 使得最小二乘求得的[C^D^]=[00] :我们知道最小二乘求出的向量[C^D^] 使得A 列向量的线性组合最接近b 向量(即b 在A 列空间中的投影),如果这个线性组合为0 向量(即投影为0 ),则b 向量与A 的列空间正交,所以可以取b=⎡⎣⎢1−21⎤⎦⎥ 同时正交于A 的两个列向量。
- MIT 线性代数(34—35)读书笔记
- MIT 线性代数(1—3)读书笔记
- MIT 线性代数(4—6)读书笔记
- MIT 线性代数(7—9)读书笔记
- MIT 线性代数(10—12)读书笔记
- MIT 线性代数(13—15)读书笔记
- MIT 线性代数(16—18)读书笔记
- MIT 线性代数(19—21)读书笔记
- MIT 线性代数(22—24)读书笔记
- MIT 线性代数(25—27)读书笔记
- MIT 线性代数(28—30)读书笔记
- MIT 线性代数(31—33)读书笔记
- MIT线性代数学习(1)——求解线性方程组
- MIT 线性代数
- 看MIT的线性代数
- MIT线性代数--向量空间
- 线性代数MIT-0、前言
- MIT线性代数公开课
- angular js 入门2 $watch 监听事件
- 十大编程算法助程序员走上高手之路
- 【Android】退出多个Activity方法(二)
- Common Subsequence(dp)HDU 1159
- pug模板初体验
- MIT 线性代数(34—35)读书笔记
- 基于proteus的51单片机仿真实例一、说明
- 试试Linux下的ip命令,ifconfig已经过时了
- 服务与活动之间如何产生联系
- JSP(7)关于刷新持续发送请求的处理
- Java 实例
- VMware-tools安装
- matlab下 ROC和AUC的实现
- IOS协议·IOS分类·IOS扩展(总结)