损失函数为什么用平方形式(二)
来源:互联网 发布:阿里云服务器ftp在哪 编辑:程序博客网 时间:2024/06/06 08:41
我们在以前谈过《线性回归损失函数为什么要用平方形式》,除了这篇文章中提到的理由外。还有什么依据呢?
平方形式的损失函数一般为:
这称为SSE(The sum of squares due to error),误差平方和。
还有一种称为MSE(Mean Squared Error),均方差。
这两种形式本质上是等价的。只是MSE计算得到的值比SSE计算得到的值要小,因为除了一个n。误差平方和以及均方差的公式中有系数1/2,是为了求导后,系数被约去。
它们都是平方形式,一个重要原因是:误差的平方形式是正的,是正数。这样正的误差和负的误差不会相互抵消。这就是为什么不用一次方,三次方的原因。
但是,误差的绝对值也是正的,为什么不用绝对值呢。所有还有第二个重要原因是:平方形式对大误差的惩罚大于小误差。例如:
一个是25:4,一个是5:2,显然平方形式对大误差的惩罚更大。
此外,还有第三个重要原因:平方形式对数学运算也更友好。我们经常要求损失函数的导数,平方形式求导后变成一次函数;而绝对值形式对求导数学运算很不友好,需要分段求导。
此外,4次方,6次方,8次方虽然也能避免误差正负相抵消,但对大误差的惩罚又过大了;此外,求导后也仍然是多次函数。
阅读全文
0 0
- 损失函数为什么用平方形式(二)
- 线性回归损失函数为什么要用平方形式
- 逻辑回归为什么使用对数损失函数
- logistic回归详解二:损失函数
- 感知机中损失函数1/||w||为什么可以不考虑(或直接忽略)?
- 损失函数(Loss Function)
- 损失函数(Loss Function)
- 损失函数(loss function)
- 损失函数(loss function)
- 损失函数(loss function)
- 损失函数(Loss Function)
- 损失函数
- 损失函数
- 损失函数
- 损失函数
- 损失函数
- 损失函数
- 损失函数
- 计蒜客1
- Java定时器之Timer源码剖析
- 【GDOI 2016 Day1】第四题 疯狂动物城
- Docker总结
- hdu 2066 一个人的旅行
- 损失函数为什么用平方形式(二)
- Docker总结
- 正则表达式基本语法详解
- 服务器不能复制和粘贴了
- Django 安装和配置
- CoordinatorLayout +AppBarLayout(续)
- Docker总结
- 硬盘物理结构详细说明
- Docker总结