关于特征值、特征向量、协方差的介绍

线性代数的补充：

1、关于范德蒙德行列式应用：插值法（指对N个数据，得出一个N-1阶的式子。），当阶数小于N-1时，为拟合方法，当阶数为1时，则为回归。

2、对称阵的重要性：协方差矩阵、二次型矩阵等都是对称阵，Am∗n也可以通过令C=AT∗A来得到对称阵，此时A的特征向量等于C的特征向量，A的特征值矩阵为C的特征值矩阵的平方根。

3、对于n阶实对称阵A，有n个不同的特征值，那么对应的n个特征向量是相互正交的，即uT1u2=0(线性无关)，且特征向量矩阵UTU=1，又U−1U=1,则UT=U−1.

推导：假设A对应两个特征向量u1,u2,那么有Au1=λ1u1,Au2=λ2u2

A(u1,u2)=(λ1u1,λ2u2)

AU=λU

U−1AU=UTAU=λ

同理可得，U−1λU=UTλU=A

结论：设A为n阶对称阵，则必有正交阵P，使得U−1AU=UTAU=λ,

λ是以A的n个特征值为对角元的对角阵。

该变换称为“合同变换”，A和λ互为合同矩阵。

4、SVD 奇异值分解

奇异值分解是一种重要的矩阵分解方法，可以看做对称方阵在任意矩阵上的推广。

5、关于特征值的理解

6、关于协方差的介绍

7、白化

xxT=UTDU

令x∗=UTD−0.5Ux

则x∗x∗T=1

8、求A的逆、特征值

方法：QR分解

9、矩阵求导