经典算法(1):梯度下降法(Gradient)

来源:互联网 发布:现在开淘宝挣钱吗 编辑:程序博客网 时间:2024/05/21 13:07

梯度下降法,可以用来找一个函数的(局部)极值点。

那实际中的一些背景就是:怎么做最划算?怎么规划胜率最大?……


Gradient算子,线性算子,可作用于一元或多元数量值函数。

某一点处的梯度方向,即为在该点处函数值增长得最快的方向。

其反方向,即为在该点处函数值减少得最快的方向。


梯度下降法、最速下降法,可用于极值问题的求解。

由于初值和步长的问题,可能陷入局部极值,也可能震荡,可能发散。


说明:需要对目标函数求梯度,所以还需要“动笔”去解析计算梯度。


0 0
原创粉丝点击