机器学习笔记(三) 线性代数复习

来源:互联网 发布:apt-get insall yum 编辑:程序博客网 时间:2024/06/09 20:26

本节的主要内容是复习矩阵的相关知识点。

1.表示方法

   一般,我们用 A \in R^{m \times n} 来表示矩阵A,其中m代表行数,n代表列数。

   用a_{ij} 表示矩阵A中的第i行和第j列的元素。


2.矩阵的运算

   加法:对应元素相加。

   减法:对应元素相减。

   乘法:不满足交换律。


3.矩阵的操作和性质

   单位矩阵:对角元素全为1,其余元素全为0。

   对角矩阵:除对角元素外,其余元素全为0。(单位矩阵是特殊的对角矩阵)

   矩阵的转置:变换矩阵的行和列,A^T \in R^{m \times n}

   对称矩阵:A = A^ T

   矩阵的迹:方阵对角线元素的和。

   矩阵的逆:A^{-1}AA^{-1} = I = A^{-1}A

   正交矩阵:x^Ty = 0,则说明x和y是正交的。


4.梯度
   定义:f:R^{m \times n} \rightarrow R,函数f的输入是一个m*n的矩阵,输出是一个数值。
   函数f(A)的梯度就是对A中的每一个元素求偏导得到的矩阵。梯度也是矩阵。

   当然我们要注意的是:\nabla_Af(A)的尺寸永远和矩阵A一致。