机器学习常用矩阵求导公式

来源：互联网发布：数据库保护问题包括编辑：程序博客网时间：2024/04/30 04:04

机器学习常用矩阵求导公式
1) 实值对实值求导（即y与x均为实值函数）

\partial y \partial x

2) 实值对向量求导

\partial y \partial x = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial y \partial x 1 \partial y \partial x 2 ⋮ \partial y \partial x n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

3) 实值对矩阵求导

\partial y \partial X = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial y \partial x 11 \partial y \partial x 21 ⋮ \partial y \partial x p 1 \partial y \partial x 12 \partial y \partial x 22 ⋮ \partial y \partial x p 2 \dots \dots ⋱ ⋮ \dots \partial y \partial x 1 q \partial y \partial x 2 q \partial y \partial x p q ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

4) 向量对实值求导

\partial y \partial x = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial y 1 \partial x \partial y 2 \partial x ⋮ \partial y n \partial x ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

5) 向量对向量求导

\partial y \partial X = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial y 1 \partial x 1 \partial y 2 \partial x 1 ⋮ \partial y m \partial x 1 \partial y 1 \partial x 2 \partial y 2 \partial x 2 ⋮ \partial y m \partial x 2 \dots \dots ⋱ ⋮ \dots \partial y 1 \partial x n \partial y 2 \partial x n \partial y m \partial x n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

6) 矩阵对实值求导

\partial y \partial X = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial y 11 \partial x \partial y 21 \partial x ⋮ \partial y p 1 \partial x \partial y 12 \partial x \partial y 22 \partial x ⋮ \partial y p 2 \partial x \dots \dots ⋱ ⋮ \dots \partial y 1 q \partial x \partial y 2 q \partial x \partial y p q \partial x ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

常用求导公式
β,x是向量，A是矩阵

\partial β T x \partial x = β

\partial x T x \partial x = x

\partial x T A x \partial x = (A + A T) x

参考：
http://blog.sina.com.cn/s/blog_6cb263210101csq0.html
https://en.wikipedia.org/wiki/Matrix_calculus

0 0