Linear Algebra - Lesson 3. 乘法和逆矩阵

Schedule

• Matrix Multiplication (4 ways)
• Inverse of A,AB,AT
• Gauss-Jordan method to find A−1

Matrix Multiplication - 矩阵乘法

点乘法

矩阵乘法的Standard Rule是点乘法,将对应矩阵的行与列相乘,得到结果矩阵中的对应位置的元素.
对于m×n的矩阵A, 将其与n×p的矩阵B相乘,得到m×p的结果矩阵C=AB.
C34=(Row 3 of A)∗(Column 4 of B)=a31∗b14+a32∗b24+...=∑nk=1a3kbk4

Column Way - 列角度

对于矩阵乘法A∗B=C(其中A为m×n的矩阵,B为n×p的矩阵,C为m×p的矩阵),可以将A考虑成n个单独的列向量,从而将矩阵乘法看做是根据B每列对A各列进行线性组合,从而得到结果中对应的p列,即:

Columns of C are combinations of columns of A.

Row Way - 行角度

同理,对于矩阵乘法A∗B=C(其中A为m×n的矩阵,B为n×p的矩阵,C为m×p的矩阵),可以将B考虑成n个单独的行向量,从而将矩阵乘法看做是A中每行与B相乘,从而得到结果中对应的m行,即:

Rows of C are combinations of rows of B.

之前的值,行与列相乘得到的是一个数,那么列与行相乘呢?
对于m×n的矩阵A和n×p的矩阵B,假设A中的一列与B中的一行相乘,如下所示:

⎡⎣⎢234⎤⎦⎥∗[16]=⎡⎣⎢234121824⎤⎦⎥

可以看出结果中每行均是倍数关系,且每列也都是倍数关系.
那么我们可以从中得出我们的第四种求解矩阵乘法的方法:

AB等于A各列与B各行乘积之和.

Columns times Rows - 列与行相乘

AB=Sum of (cols of A) ⋅ (rows of B)
矩阵相乘,A中含有n列,与B中行数相同,所以不用担心出现不匹配的情况.
e.g.

⎡⎣⎢234789⎤⎦⎥∗[1060]=⎡⎣⎢234⎤⎦⎥∗[16]+⎡⎣⎢789⎤⎦⎥∗[00]

在上述的例子中⎡⎣⎢234⎤⎦⎥∗[16]=⎡⎣⎢234121824⎤⎦⎥,可以将结果矩阵的行空间和列空间均看做直线.
由此可以引出Block Multiplication的概念.

Block Multiplication - 块乘法

[A1A3A2A4]∗[B1B3B2B4]=[A1∗B1+A2∗B3A3∗B1+A4∗B3A1∗B2+A2∗B4A3∗B2+A4∗B4]

Inverses(square matrices)

不是所有的矩阵都有逆.

关于矩阵,我们经常问的问题是:
- 如果一个矩阵是方阵,那么这个方阵是否可逆?
- 如果一个矩阵可逆, 如何求逆?

对于方阵来说,其左逆等于其右逆,即A−1A=AA−1=I.
(证明很简单,在等式两边各乘以求中一个逆即可.)
对于非方阵来说,左逆是不等于右逆的,因为形状不同所以无法相乘.

存在逆矩阵的矩阵被称为可逆的(invertible)或非奇异的(non-singular).

Singular Matrix - 奇异矩阵

奇异矩阵即非可逆矩阵.

举个例子: A=[1236] 可以看出A的行列式(determinant)为0.

假设A乘以某矩阵得到单位阵,那么结果中的列将会是A中的列的线性组合.
如果A中的列向量是共线的,则由A中的列向量线性组合生成的结果矩阵中的列将无法组成单位阵.
这样的线性组合无法组成单位阵,因为A中的列向量是共线的.

如果存在非零向量x,使得Ax=0,那么可以说A不可逆.
证明: 假设逆存在,则同时满足Ax=0 and A−1A=I, 从而得出A−1Ax=Ix=x=0, 而x≠0, 与假设相悖, 从而假设不成立.

对于例子中的矩阵A,可以找到向量x=[3−1],从而使得Ax=0,所以A不可逆.

求逆

假设有如下的矩阵,需要对其求逆,则需满足:

[1237]∗[abcd]=[1001]

A times column j of A−1 = column j of I

Gauss-Jordan - 高斯-约旦 消元法

[12371001]→[10311−201]→[10017−2−31]

从而得出A|I→I|A−1

简化形式可得E[A I]=[I A−1]. 这里,因为EA=I,所以E=A−1