线性代数与数值方法--矩阵分解

1. 矩阵

   正交：正交最早出现于三维空间中的向量分析。 在三维向量空间中， 两个向量的内积如果是零， 那么就说这两个向量是正交的。

   正交矩阵：正交矩阵是实数特殊化的酉矩阵，因此总是正规矩阵。如果：AA^T=E（E为单位矩阵，A^T表示“矩阵A的转置矩阵”。）或A^TA=E，则n阶实矩阵A称为正交矩阵， 若A为正交阵，则满足以下条件:
   1) A^T是正交矩阵
   2) AA^T=E（E为单位矩阵）
   3) A的各行是单位向量且两两正交
   4) A的各列是单位向量且两两正交
   5) (Ax,Ay)=(x,y) x,y∈R
   6) |A| = 1或-1

   酉矩阵：n阶复方阵U的n个列向量是U空间的一个标准正交基，则U是酉矩阵(Unitary Matrix)。显然酉矩阵是正交矩阵往复数域上的推广。

   正规矩阵：正规矩阵是与自己的共轭转置矩阵对易的复系数方块矩阵，A*A=AA*。其中A*是A的共轭转置矩阵。矩阵的正规性是检验矩阵是否可对角化的一个简便方法：任意正规矩阵都可在经过一个酉变换（正交变换）后变为对角矩阵，反过来所有可在经过一个酉变换后变为对角矩阵的矩阵都是正规矩阵。
   正规矩阵的性质：属于正规矩阵不同特征值的特征向量两两正交。
   定理1：在复数域上，A为正规矩阵的充分必要条件为A有n个两两正交的单位特征向量
   定理2：在复数域上，A为正规矩阵的充分必要条件为A酉相似于对角矩阵

2. 奇异值分解（SVD）

   奇异值：设A为复数域内m*n阶矩阵，A*表示A的共轭转置矩阵，A*·A的n个特征值的算术平方根（即A*·A的特征值的开方）叫作矩阵A的奇异值。记为σi(A) 。

   共轭复数：两个实部相等，虚部互为相反数的的复数。
   共轭转置:转置，取共轭。

   奇异值分解，即任意一个MxN的实数矩阵A均可写成：
   其中p=min(m,n)，矩阵U和V是正交矩阵，

3. 特征值分解
   如果矩阵C是对称矩阵，那么特可以写成特征值分解的形式：

4. QR因子分解
   QR因子分解是一项广泛应用于稳定求解病态最小二乘问题的方法，同时也是一些更复杂方算法的基础，比如SVD及特征值分解。
   A=QR
   Q是正交矩阵，QQ^T=I，R是上三角矩阵，且在对角线上的元素为正。
   Q可由格拉姆-施密特方法获得。
   R=Q^TA
   参考wiki：https://en.wikipedia.org/wiki/QR_decomposition

5. 格拉姆-施密特正交化
   The Gram–Schmidt process then works as follows

u1u2u3u4uk=v1,=v2−proju1(v2),=v3−proju1(v3)−proju2(v3),=v4−proju1(v4)−proju2(v4)−proju3(v4),  ⋮=vk−∑j=1k−1projuj(vk),e1e2e3e4ek=u1∥u1∥=u2∥u2∥=u3∥u3∥=u4∥u4∥  ⋮=uk∥uk∥.

参考wiki：https://en.wikipedia.org/wiki/Gram%E2%80%93Schmidt_process#Numerical_stability
6. 乔里斯基分解

参考wiki：https://en.wikipedia.org/wiki/Cholesky_decomposition