机器学习中的数学知识（-）梯度下降数学理论

机器学习中的数学知识

微积分：

f′(a)=limx→0f(a+h)−f(a)h

常见的函数的导数：

(xa)′=axa−1
(ex)′=ex
(ax)′=ln(a)ax
(ln(x))′=1x
dsin(x)dx=cos(x)
dcos(x)dx=sin(x)

导数法则

(αf+βg)=αf′+βg′
(fg)′=f′g+fg′
(fg)′=f′g−fg′g2
如果 f(x)=h(g(x)) 那么 f(x)′=h′(g(x))∗g′(x)

Hessian矩阵

泰勒级数与极值

f(x+σ)≈f(x)+f′(x)σ+12f"σ2

从公式中可以看出在点x的函数值如果是极小值点，那么σ表示在x点左右两侧摆动，要使得公式左边大于等式右边（σ>0或者σ<0），则必须满足f′(x)=0
结论：如果满足f′(x)=0的点称为极值点（平稳点），进一步判断：
f"(x)>0, (x,f(x))为极小值点；
f"(x)<0, (x,f(x))为极大值点；
如果f"(x)=0, 则称为拐点
对于矩阵判断其矩阵的正定性。（正定表示其全部特征值大于0）

注意：为什么要用梯度下降，而不是直接令f′(x)=0?
因为实际中函数求导即使求出来，但是要解方程f′(x)=0非常困难。

梯度下降