矩阵、向量求导法则

复杂矩阵问题求导方法：可以从小到大，从scalar到vector再到matrix。

 x is a column vector, A is a matrix

d(A∗x)/dx=Ad(A∗x)/dx=A            

d(xT∗A)/dxT=Ad(xT∗A)/dxT=A   

d(xT∗A)/dx=ATd(xT∗A)/dx=AT    

d(xT∗A∗x)/dx=xT(AT+A)d(xT∗A∗x)/dx=xT(AT+A)

 

practice: