机器学习常用数学公式

输入为标量(Scalar)

f(xk+δ) ≈ f(xk)+f′(xk)δ+f′′(xk)δ22      δ+xk∈U˚(xk)

对于极值点xk(极大值点和极小值点)表示在∀x∈U(xk)，都有f(x)≤f(xk) (f(x)≥f(xk))

我们只看泰勒级数的前两项,即f(xk+δ) ≈ f(xk)+f′(xk)δ，可以看出如果xk为极大(小)值点，那么恒有f(xk)≥f(xk+δ)  (f(xk)≤f(xk+δ))，所以当δ+xk∈U˚(xk)时，必有f′(xk)≡0

如果现在满足f(xk)=0，且

1. f′′(xk)>0​，则xk​为严格的局部极小值点(反之为局部极大值点)
2. f′′(xk)=0，则有可能是一个鞍点(Saddle Point)

输入为矢量(Vector)

f(x⃗ k+δ⃗ ) ≈ f(x⃗ k)+∇Tf(x⃗ k)δ⃗ +12δ⃗ T∇2f(x⃗ k)δ⃗ 

Newton’s Method

​ 它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程根的方法

​

对于方程f(x) = 0, xn+1 = xn +f(xn)f′(xn)为其根的迭代公式

非线性方程转为线性方程可利用Taylor’s formula