浅谈平方和误差函数
来源:互联网 发布:淘宝如何申请中国制造 编辑:程序博客网 时间:2024/05/22 16:59
线性回归,误差函数是平方和函数,神经网络中也会选用平方和误差函数,但是为什么误差函数是平方和,而不是绝对值、三次函数或者其他的形式呢?这个问题,有多个角度可以阐释。
1、从概率的角度
不管是线性回归,还是神经网络或者其他算法,我们可以假设实际的(理想的)模型是F(x)。在实际任务中,我们将从数据集{(Xi,Yi)},i = 1,2.......,n,中学习出一个模型f(x)。数据集可以认为是从理想的模型F(x)中采样,并添加高斯噪声而形成。
从这个角度看,数据集中的每一个点(Xi,Yi)均服从于均值为f(Xi),方差为某一固定值的高斯分布。所以数据(Xi, Yi)概率如下:
而判断一个模型是否足够接近理想模型,可以比较数据集在当前模型下出现的概率,也就是大家熟悉的极大似然估计了。所以,我们的目标就是极大化数据集的对数似然函数。此处就不继续展开,往下的推导就是一般的极大似然法。通过化简后,我们会发现,极大化数据集的对数似然函数,其实等价于最小化在数据集上,标签Yi与模型预测值f(Xi)差的平方和。
2、从技术实现的角度
在神经网络等部分算法中,经常会用梯度下降或者梯度上升来优化模型。在这个时候,平方和形式的误差函数就会在求导时体现出其快速、简洁的优势。不过这一点可以作为选择误差函数时的考量点之一,不是平方和误差函数的来源(数学背景)。
补充:从平方和误差函数的数学背景可以看到,选用平方和误差函数,实际上是基于极大似然法。而极大似然法,天生自带过拟合的属性。所以这也是为什么在训练阶段,追求模型在训练集上的准确率时,模型容易过拟合的本质原因。而控制模型复杂度、调节参数等等操作,都是在过拟合与准确率之间做一个权衡。
- 浅谈平方和误差函数
- 误差函数erf
- 平方和
- 有理逼近的误差函数
- Logistic Regression中的误差函数
- 误差!
- 误差
- mse函数(均方误差函数)
- matlab sumsqr函数 求矩阵的平方和
- 用母函数求解平方和公式
- newcf函数的误差、权值情况
- 关于erf(误差函数)思考
- pow函数返回值出现误差问题
- 机器学习中的各种损失/误差函数
- cs231n笔记(3)—误差函数
- 重载函数的运用。。。分别求两个整数平方和 及 两个实数的平方和
- “函数”浅谈
- 浅谈函数
- JDK的动态代理
- 将二叉树拆成链表
- 设计模式 桥接模式
- OpenJ_Bailian4118 dp
- ubuntu下成功进行栈溢出实验的先决条件
- 浅谈平方和误差函数
- tensorflow的基本用法(九)——定义卷积神经网络训练MNIST
- MyBatis 缓存机制
- Linux 安装 SonarQube 6.0 及Maven项目的使用
- java面向对象之值传递小实例
- phpstorm + xdebug 远程断点调试,详解。
- HDU3339
- Apache kafka 工作原理介绍
- 对所做的事情的理解越深,你就会做的越好