最小二乘的概率解释
来源:互联网 发布:天浩网络打印服务器 编辑:程序博客网 时间:2024/05/22 00:13
在线性回归中,我们以最小二乘来作为损失函数,然后使得这个损失函数的值最小。那么为什么会选择最小二乘
而不是其它的指标呢? 今天就用概率方面的知识来解释。首先,设
其中是样本的误差纠正量。由于我们目的是训练出合适的参数,使得的绝对值尽量小,那么可以确定
大部分的值集中在0附近,而少数值离0较远,很明显,这可以看成随机变量服从高斯分布。即
那么概率密度函数为
那么也就是说有
亦即
那么进一步得到联合概率密度函数为
现在我们来求最大似然估计,即找到合适的参数,使得上述概率取值最大。两边分别取对数得到
要是上述目标函数值最大,那么只需要
最小即可。这就解释了线性回归为什么要选用最小二乘作为衡量指标了。多么美的自然科学啊!!!
现在想想Logistic回归也是基于一个假设,即概率只能为0或者1,它是用一个Sigmoid函数来把数据范围映射
到区间[0,1]上的,最后根据联合概率密度函数求最大似然估计。
1 0
- 最小二乘的概率解释
- 线性回归中最小二乘的概率解释
- 【机器学习详解】线性回归、梯度下降、最小二乘的几何和概率解释
- 最大似然估计与最小二乘的解释
- 局部加权回归、最小二乘的概率解释、逻辑斯蒂回归、感知器算法——斯坦福ML公开课笔记3
- 最小二乘的理论依据
- 用最小二乘做为线性回归的代价函数的一些解释
- 极大似然估计解释最小二乘
- 最小二乘拟合lsqcurvefit的…
- 最小二乘曲线拟合的MATLAB仿真
- 对最小二乘的总结
- l1约束的最小二乘学习
- 也求最小二乘的解
- 说说最小二乘
- 最小二乘拟合
- 最小二乘
- 最小二乘拟合
- 最小二乘问题
- iOS8 UIAlertContorller 的使用代码
- android 5.0上改短按耳机按键的功能,由mute改为hold
- 局部加权回归
- 经典SQL语句大全
- 2015新构想吧
- 最小二乘的概率解释
- Google Play Services
- 关于HTML5的画布canvas
- 程序员必读书籍及导读指南
- 广义线性模型
- 【控件篇】ProgressBar+ProgressDialog使用案例
- cocos2dx button的使用以及cocostudio/ObjectFactory.h: No such file or directory错误解决方案
- HDU_1075_What Are You Talking About(字典树)
- softmax回归