线性代数总结

行列式

• det(A), 是将方阵A映射到实数的函数。
• 行列式等于矩阵特征值的乘积。
• 行列式的绝对值可以衡量矩阵参与矩阵乘法后空间扩大或者缩小了多少。

特征分解

对于一个给定的方阵A，它的特征向量（eigenvector，也译固有向量或本征向量）v 经过这个线性变换之后，得到的新向量仍然与原来的 v 保持在同一条直线上，但其长度或方向也许会改变。即

Av=λv

• 特征值就是运动的速度
• 特征向量就是运动的方向

A的特征分解可记作：

A=Vdiag(λ)V−1

奇异值分解

针对非方阵的分解

定义

A=UDVT

• A: m x n
• U: m x m 正交矩阵
• D: m x n 对角矩阵
• V: n x n 正交矩阵

其中对角矩阵D对角线上的元素称为矩阵A的奇异值。
矩阵U的列向量称为左奇异向量。
矩阵V的列向量称为右奇异向量。

证明

对任意M*N的矩阵，能否找到一组正交基使得经过它变换后还是正交基？YES

现在假设存在M*N矩阵A，事实上，A矩阵将n维空间中的向量映射到k（k<=m）维空间中，k=Rank(A)。现在的目标就是：在n维空间中找一组正交基，使得经过A变换后还是正交的。假设已经找到这样一组正交基：

v1,v2,...,vn

则A矩阵将这组基映射为：

Av1,Av2,...,Avn

如果要使他们两两正交，即:

Avi.Avj=(Avi)T(Avj)=vTiATAvj=0

根据假设：

vTivj=vi.vj=0

所以如果正交基v选择为

ATA

的特征向量的话，由于

ATA

是对称阵，v之间两两正交，那么:

vTiATAvj=vTiλjvj=λjvTivj=λjvi.vj=0

这样就找到了正交基使其映射后还是正交基了，现在，将映射后的正交基单位化：
因为：

Avi.Avi=λivi.vi=λi

所以

|Avi|2=λi≥0

所以取单位向量：

ui=Avi|Avi|=1λi−−√Avi

益处

• 右边的三个矩阵相乘的结果将会是一个接近于A的矩阵。而这三个矩阵的面积之和要远远小于原始的矩阵A。

PCA

Principal Component Analysis

主要用于矩阵降维,对于正交属性空间中的样本点，如何用一个超平面对所有样本进行恰当的表达？

参考

• http://www.deeplearningbook.org/contents/linear_algebra.html
• http://blog.csdn.net/zhongkejingwang/article/details/43053513
• http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html