Matrix Calculus 学习笔记

在数学中，矩阵微积分（演算）的意思是在矩阵空间内进行的多变量演算。它将关于多个变量的单个函数的多个偏导数和关于单个变量的多元函数收集成可以被视为单个实体的向量或矩阵。这大大简化了比如求解多元方程最值问题，或者求解微分方程系统的操作。
矩阵演算分为两个类别，区分的方法是 他们把关于向量的标量的导数写成行向量或者列向量的形式。通常，独立变量可以是标量，向量或矩阵，而因变量也可以是这些中的任何一个。 每种不同的情况都会导致一套不同的规则，或者使用更广泛的术语意义的单独的计算。
第一个Example，考虑矢量运算的梯度。对于三个独立变量的标量函数，f(x1,x2,x3),梯度由矢量方程给出:

▿f=∂f∂x1x1^+∂f∂x2x2^+∂f∂x3x3^,

xi^表示一个在xi方向上的单位向量。这种类型的广义导数可以被看作相对于向量x的标量f的导数，并且其结果可以容易地以向量形式收集。

▿f=∂f∂X=[∂f∂x1∂f∂x2∂f∂x3]T.

更复杂的示例包括相对于称为梯度矩阵的矩阵的标量函数的导数，该矩阵相对于所得到的矩阵中的相应位置中的每个矩阵元素收集导数。在这种情况下，标量必须是矩阵中每个独立变量的函数。作为另一个例子，如果我们具有m个独立变量的因变量或函数的n向量，那么我们可以考虑依赖向量相对于独立向量的导数。结果可以收集在由所有可能的导数组合组成的m×n矩阵中。当然，使用标量，向量和矩阵共有九种可能性。请注意，由于我们考虑到每个独立变量和因变量中的较高数量的组件，我们可以留下非常多的可能性。