Machine Learning第一讲[单变量线性回顾] --（三）线性代数知识复习（选学）

内容来自Andrew老师课程Machine Learning的第一章内容的Linear Algebra Reviw部分。

一、矩阵和向量

1、矩阵

矩阵一般用大写字母表示

（1）矩阵示例：
          

（2）矩阵维度：矩阵的行数*矩阵的列数
在上图矩阵中，A的维度是4*2=8，B的维度是2*3=6

（3）表示矩阵A的第i行第j列的元素。
以矩阵A为例：
= 1402
= 191
= 1437
= Undefined（Error）

（4）矩阵记法，记作，其中m表示矩阵的行数，n表示矩阵的列数。
上述A矩阵可表示为：，上述B矩阵可表示为：

2、向量

向量一般用小写字母表示

（1）向量就是维数为n*1的矩阵。

（2）向量示例：
   
此向量是一个四维向量，含有四个元素，用表示。

（3）用表示向量的第i个元素。
= 460
= 315

（4）1-indexed VS 0-indexed

二、加法和标量乘法

1、矩阵加法（要求两矩阵同维）
示例：

2、标量乘法
所谓标量，是指一个实数，标量乘法即实数和矩阵相乘。
示例：
  

  

（3）结合算法示例：

三、矩阵向量相乘

1、矩阵向量乘法的细节如下图：

2、示例：
      

3、将矩阵向量相乘运用到机器学习中：

有四间房子的大小分别为：2104，1416，1534，852。其拟合函数h(x)=-40+0.25*x；
则算出这四间房子对应的h(x)的大小，可以采用下面的方法：

四、矩阵和矩阵相乘

1、矩阵与矩阵相乘的细节部分：

2、矩阵与矩阵相乘的示例：
    

3、矩阵与矩阵乘法的应用

五、矩阵乘法的性质

1、不满足交换律，即A*B≠B*A

2、满足结合律，即A*B*C=(A*B)C=A(B*C)

3、数乘运算
单位阵：对角线元素为1，其他位置元素为0，例如，  和  。

六、逆矩阵和转置矩阵

1、逆矩阵
若A是m*m矩阵且A有逆矩阵，则（I为单位阵）

注：
（1）只有方阵存在逆矩阵。
（2）O矩阵不存在逆矩阵，因为找不到一个矩阵和O矩阵相乘得到单位阵。
（3）不存在逆矩阵的矩阵叫做奇异矩阵或者退化矩阵，例如O矩阵。

2、转置矩阵
令A是m*n矩阵，B=，则B是n*m矩阵，且

举例：