机器学习基础——矩阵

标量、向量、矩阵和张量

标量：一个单独的数

向量：一列数/一个坐标

矩阵：一个二维数组

张量：坐标超过二维的数组

转置：矩阵以对角线为轴的镜像

矩阵和向量相乘

矩阵乘积：C=AB，其中，A: m * n; B: n * p; C: m * p

​ Ci,j=∑kAi,kBk,j

点积： xTy

矩阵乘积性质：

​ A(B + C) = AB + AC

​ A(BC) = (AB)C

​ xTy = yTx

​ (AB)T = BTAT

单位矩阵和逆矩阵

单位矩阵：任意向量和单位矩阵相乘，都不会改变，记为 Inx = x

​ 所有沿主对角线的元素都是1，其它元素都是0

矩阵逆：满足 A−1A = In (矩阵A为方阵)

线性相关和生成子空间

如果逆矩阵A−1存在，那么线性方程组Ax = b 肯定对于第一个向量b 恰好存在一个解

范数

LP范数定义：||x||p=(∑i|xi|p)1p p≥ 1

​ 范数：衡量向量的大小

​ 范数是满足下列性质的任意函数：

​ 1、 f(x)=0⇒x=0

​ 2、f(x+y)≤ f(x)+f(y) (三角不等式)

​ 3、∀α∈R,f(αx)=|α|f(x)

当p=1时：L1范数：||x||1=∑i|xi| ，当机器学习问题中零和非零元素之间的差异非常重要是，通常会使用L1范数。

当p=2时：L2范数，也称为欧几里得范数，它表示从原点出发到向量x确定的点的欧几里得距离

​ 简化表示为||x||

最大范数：L∞范数，||x||∞=maxi|xi|

Frobenius范数：衡量矩阵的大小：

​ ||A||F=∑i,jA2i,j−−−−−−−√ （有另一种描述方式，见迹运算）

​ 其类似于向量的L2范数

​ 两个向量的点积可以用范数为表示：xTy=||x||2||y||2cosθ

特殊类型的矩阵和向量

对角矩阵：只在主对角线上含有非零元素，其他位置都是零

对称矩阵：转置和自己相等的矩阵，即：A=AT

单位向量：具在单位范数的向量，即：x2=1

向量正交：如果xTy=0，则称向量x和向量y互相正交，如果互相正交的向量范数都为1，那么称标准正交

正交矩阵：行向量和列向量是分别标准正交的方阵，即：ATA=AAT=I

​ 这意味着：A−1=AT

特征分解

矩阵分解：将矩阵拆解为数个矩阵的乘积

特征分解：使用最广的矩阵分解之一，将矩阵分解成一组特征向量和特征值

特征向量：方阵A的特征向量(v)是指与A相乘后，相当于对该向量(v)进行缩放的非零向量

​ Av=λv (其中标量λ称为v的特征值)

​ （特征向量被施以线性变换A只会改变向量的模长，并不改变向量方向）

​ 性质：如果v是A的特征向量，那么缩放后的向量sv (s为非0实数)也是A的特征向量，而且sv和v有相同的特征值

特征分解：将矩阵分解成特征值和特征向量

​ A=Vdiag(λ)V−1

​ V:n个线性无关的特征向量组成的矩阵；λ:n个特征值组成的列向量

奇异值分解（SVD）

奇异值分解：将矩阵分解成奇异值和奇异向量（跟特征分解比较）

​ A=UDVT

伪逆

伪逆计算： A+=VD+UT

​ 当矩阵A的列数多于行数时（可能有多个解），使用伪逆求解线性方程是众多可能解法中的一个，而且，x=A+y是方程所有解中欧几里得范数||x||2最小的一个

​ 当矩阵A的行数多于列数时（可能没有解），在这种情况下，通过伪逆得到的x使得Ax和y的欧几里得距离||Ax−y||2最小

迹运算

迹运算返回的是矩阵对角元素的和：Tr(A)=∑iAi,i

矩阵Frobenius范数另一种表达方式：||A||F=Tr(AAT)−−−−−−−−√

行列式

行列式：记作det(A)，是一个将方阵A映射到实数的函数

​ 行列式等于矩阵特征值的乘积

​ 如果矩阵行列式等于0，那么空间至少沿着某一维完全收缩了（降维了）

​ 如果行列式等于1，那么这个转换保持空间体积不变

主成分分析

（没看）