七月算法机器学习笔记2--机器学习中的数学之矩阵分析与应用

这套笔记是跟着七月算法四月机器学习班的学习而记录的，主要记一下我再学习机器学习的时候一些概念比较模糊的地方，具体课程参考七月算法官网：

http://www.julyedu.com/ 

矩阵分析与应用

主要介绍的内容有：如图

首先，来看两个示例：

概念1. 行视图--凸优化中的超平面

对于式（1），写成方程组的形式就是：

在行视图中，它的解表示为两条直线的交点；

对于式（2）,其行视图表示为：

每一个方程表示三维空间中的一个平面，则方程的解为三个平面的交点。

概念2：列视图-- 矩阵列的线性组合

对于式（1）,其列视图表示为

每列参数表示一个向量，x,y即为满足等式右边的条件下，两个向量的伸缩倍数，如图：

则(2)式可以表示为：

线性相关的线性无关：

给一个比较直观的例子

从行视图和列视图看线性相关：

如式（1），对于行视图，若线性性相关，则两条直线平行。对于列视图，若线性相关，则两个向量共线。

从行视图和列视图看线性无关：

如式（1）,行视图不平行，列视图不共线。

概念：

简单来说，就是在一组向量集中，其中一个向量能被其他向量通过线性组合表示出来。这个向量实际上是多余的。

概念3： 子空间

所有列的线性组合构成了一个span，也就是这组向量的子空间，

基可以理解为子空间的最大无关组

四个基本的子空间：

列空间：

举例来说：

矩阵A的所有列构成的子空间的所有线性组合张成一个如上图所示的平面。

子空间包含0点（向量），因为x1,x2可以为0

零空间：这里注意，零空间是列的子空间

n = 4;

Ax = 0的解是S1,S2任意的线性组合。

在上例中，列的线性组合构成了R2的子空间，N(A)构成了R4的子空间

行空间：

左零空间：

四种空间之间的关系：

解释下这个图，矩阵A的规模为mxn, m,为矩阵的行，n为列，r为矩阵的秩，因此，

右上图：为A的列空间，它是Rm的一个子空间，因为每列的长度为m,其维数为最大的线性无关的向量的个数，即r, 所有列的线性组合构成列的子空间

右下图：为A的左零空间, 左零空间也是Rm的子空间，它是和A的列的子空间相垂直的向量构成的子空间。与列空间构成正交补（交点为0点且只有0点）。

左下图：为A的零空间，它是Rn的子空间

左上图：A的行空间，是与A的零空间垂直的空间且行空间的向量与A的零空间构成正交补。

A的列空间与行空间的秩相同，即，矩阵的行秩等于列秩。

注意：

和张成的空间是相同的，在右边都对应到b上，右上边的框就是A张成的子空间（从列视图的角度理解）。左零空间与b所在的空间垂直，交点处为

利用子空间重新看待线性方程组的解：

Ax = A(p + v) ;  Ap = b, Av = 0 , v是N(A)中的向量

特征值与特征方程：

特征分解的性质：

对称矩阵的特征分解：

二次型：

特征值大于0,为正定矩阵

特征分解的应用--PCA

SVD分解:特征分解的广义化

SVD和子空间的关系

U1为A的列空间的正交基

低秩矩阵近似(降维)

低秩矩阵近似应用—图像压缩

参考资料：

七月算法：机器学习四月班：http://www.julyedu.com/

图片来自于课程PPT