Spark成长之路(12)-Gradient Descent

机器学习理论之一
梯度下降

基础概念

要想了解梯度下降，先来认识下面三个基础概念。

• 导数
• 偏导数
• 梯度

导数

导数

大学数学我们都学过，简单复习了解下。

比如如下一元二次函数

y=f(x)=ax2+bx+c

它的导函数为

f′(x)=ax+b

导函数是为了求解在某点的导数的，导数的意义表示该点的斜率，也表示增长的速度。

偏导数

偏导数

在一元函数中，我们计算导数很自然的就是计算以x为参数的导数，那么多元函数中如何计算导数？这就是偏导数的用处了。比如下面二元二次函数：

z=f(x,y)=ax2+by2+c

求x的导数:

∂f/∂x

对y求导就是

∂f/∂y

在求某个参数时候，其他参数被当成了常数。

梯度

梯度就是把偏导数转换为向量，比如上面二元二次函数的梯度就是

(∂f/∂x,∂f/∂y)T

求导这个值以后，表示我们的函数在(x,y)点时，沿着

(∂f/∂x,∂f/∂y)T

方向更容易找到最大值，沿着

−(∂f/∂x,∂f/∂y)T

方向更容易找到最小值。

梯度下降

基本概念

• 步长
• 损失函数
• 特征
• 假设函数