The Matrix Cookbook(译)二

The Matrix Cookbook(译)二

一、导数

1)、X表示一个无特殊结构的矩阵。∂Xkl∂Xij=δikδlj

2)、x，y表示向量：[∂x∂y]i=∂xi∂y,[∂x∂y]i=∂x∂yi,[∂x∂y]ij=∂xi∂yj

3)、Rules:

∂A=0,A是一个常数∂(αX)=α∂X∂(X+Y)=∂X+∂Y∂(Tr(X))=Tr(∂X)∂(XY)=(∂X)+X(∂Y)∂(X∘Y)=(∂X)∘Y+X∘(∂Y)∂(X⊗Y)=(∂X)⊗Y+X⊗(∂Y)∂(X−1)=−X−1(∂X)X−1∂(det(X))=Tr(adj(X)∂X)=det(X)Tr(X−1∂X)∂(ln(det(X)))=Tr(X−1∂X)∂XT=(∂X)T∂XH=(∂X)H

三、逆

基础

1、A∈Cn×n,AA−1=A−1A=I,I是n×n的单位矩阵，如果A−1存在，则称A是非奇异的，否则称奇异的。

2、[A]ij表示从矩阵A在删除第i行j列后的子矩阵，cof(A,i,j)=(−1)i+jdet([A]ij),cof(A)是以cof(A,i,j)组成的矩阵，A的伴随矩阵为adj(A)=(cof(A))T，A的行列式为det(A)=∑j=1nA1jcof(A,1,j)。

A−1=1det(A)⋅adj(A)

4、条件数：c(A)=∥A∥⋅∥A−1∥

伪逆

A+满足条件：AA+A=A;A+AA+=A+;AA+,A+A对称。

1、假设A,n×m满秩，若A是方阵，A+=A−1；若A不是方阵且rank(A)=n，则A+=AT(AAT)−1(“右逆”)；若A不是方阵且rank(A)=m，则A+=(ATA)−1AT(“左逆”)。

2、若A不是满秩，即An×m,rank(A)=r<min(n,m)，伪逆矩阵由奇异值分解得到：A=UDVT,A+=VrD−1rUTr。