Huber Loss function

来源：互联网发布：怎么跟淘宝办理假护照编辑：程序博客网时间：2024/06/05 15:39

Huber loss是为了增强平方误差损失函数（squared loss function）对噪声（或叫离群点，outliers）的鲁棒性提出的。

Definition

L δ (a) = ⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ 1 2 a 2, δ \cdot (| a | - 1 2 δ), for | a | \leq δ, otherwise.

参数a通常表示residuals，也即(y−y^)或者写作(y−f(x))，当a=y−f(x)时，上述形式可以拓展为：

L δ (y, f (x)) = ⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ 1 2 (y - f (x)) 2, δ \cdot (| y - f (x) | - 1 2 δ), for | y - f (x) | \leq δ otherwise.

visualization

import numpy as npimport matplotlib.pyplot as pltdef huber_loss(e, d):    return (abs(e)<=d)*e**2/2 + (e>d)*d*(abs(e)-d/2)plt.figure(figsize=(6, 4.5), facecolor='w', edgecolor='k')x = np.arange(-20, 20)plt.plot(x, x**2/2, label='squared loss', lw=2, 'g')for d in (10, 5, 3, 1):    plt.plot(x, huber_loss(x, d), label=r'huber loss: $\delta$={}'.format(d), lw=2)plt.legend(loc='best', frameon=False)plt.xlabel('standard deviation')plt.ylabel('loss')plt.show()

References

[1] Huber Loss Wikipedia

0 0