机器学习数学基础之矩阵理论（二）

  目录

一、线性空间

1.    线性空间的概念

（1） 线性空间的定义

（2） 线性空间的本质

2.    线性空间的基

（1） 线性表示

（2） 线性相关

（3） 线性无关

（4） 线性空间基的定义

（5） 坐标

3.   线性空间的范数

（1） 范数的定义

（2） 赋范线性空间中的距离

（3） 欧几里得范数

（4） Lp范数

（5） Frobenius范数，矩阵中常用的范数

二、  矩阵分解

1.   方阵的正交分解

（1） 特征值和特征向量的定义

（2） 特征值：

（3） 特征向量：

（4） 矩阵分解

（5） 特征向量与其特征值之间的关系

2.   正交分解

（1） 正交矩阵

（2）  标准正交基

（3）  正交矩阵的性质

（4）  正交分解

3.   矩阵的奇异值分解(SVD)

（1） 非退化方阵的SVD

（2） 一般矩阵的SVD

（3） 伪逆(Moor-Penrose)

（4） 不相容线性方程组的解

（5）  定理

4.   主成分分析(PCA)

 

一、线性空间

1. 线性空间的概念

（1）  线性空间的定义

　　设V是一个非空集合，R为实数域。如果对于任意两个元素