线性代数背景知识

线性代数

线性代数的基本元素

标量

一个标量(scalar)就是一个单独的数。

向量

一个向量(vector)是一列数，我们可以把向量看作空间中的点，每个元素是不同坐标轴上的坐标。

矩阵

一个矩阵(matrix)是一个二维数组，其中的每一个元素由两个索引所确定。

线性代数的运算

矩阵相加

只要矩阵的形状一样，我们就可以把两个矩阵相加，两个矩阵相加是指对应位置的元素相加。
例如 C=A+B 即为：Cij=Aij+Bij

标量和矩阵的运算

标量和矩阵相乘或者相加，我们只需要将其与矩阵的每个元素相乘或者相加。
例如 D=aB+c，即为；Dij=aBij+c

矩阵和向量相加

在深度学习中，允许矩阵和向量相加，产生另一个矩阵。即向量和矩阵的每一行相加，这种方法称为广播。
例如 C=A+b，其中 Cij=Aij+bj

矩阵乘积

两个矩阵的矩阵乘积(matrix product)是第三个矩阵C，为了使乘法可以被定义，矩阵A的列数必须和矩阵B的行数相等。
例如 矩阵A是m*n，矩阵B是n*p，那么矩阵C的形状就是m*p。具体地，Cij=∑kAikBkj

矩阵点积

两个维数相同的向量的点积(dot product)可以看做矩阵乘积 xTy

我们可以把矩阵乘积中计算 Cij 的步骤看做A矩阵第i行和B矩阵第j列之间的点积

向量的点积

两个向量的点积满足交换律：xTy=yTx

矩阵乘积的转置

(AB)T=BTAT

特殊形式的矩阵

转置矩阵

转置(transpose)是矩阵的重要操作之一，矩阵的转移是以对角线为轴的镜像，这条对角线被称为主对角线(main diagonal)。

单位矩阵

任意向量和单位矩阵相乘，都不会改变，单位矩阵(identity matrix)是线性代数里的1。

逆矩阵

矩阵A的逆矩阵记作A−1，其定义的矩阵满足A−1A=In

线性相关

生成子空间(span)

一组向量的生成子空间，是原始向量线性组合后所能达到的点的集合。

列空间

确定 Ax=b 是否有解，相当于确定向量b是否在A列向量的生成子空间中，这个特殊的生成子空间叫做A的列空间(column space)。

奇异的

一个列向量线性相关的方阵被称为奇异的(singular)。如果矩阵A不是一个方阵或者是一个奇异的方阵，那么我们就不能通过逆矩阵来求解。

范数

范数(norm)，在机器学习中，经常用来衡量向量的大小。因为它可以将向量映射到非负值。Lp范数的定义如下：

||x||p=(∑i|xi|p)1p

L1范数

当机器学习中0和非0的元素差异非常重要时，通常会使用L1范数。

L2范数

向量的L2范数表示从原点出发到向量中某个点的欧式距离，经常用来衡量向量的大小，向量x的L2范数可以通过点积xTx来计算。