(吴恩达笔记 1-1)附——为什么用最小平方和做目标函数
来源:互联网 发布:tplink路由器访客网络 编辑:程序博客网 时间:2024/06/09 21:23
那么接上面一节讲的,为什么要用最小平方和作为目标函数呢?对于这个问题,有关博客就数学相关的理论知识已经做了很详细的解释
【转载】机器学习—–线性回归浅谈(Linear Regression)
从概率层面解释-回归模型的目标函数:
基本上每个模型都会有一个对应的目标函数,可以通过不同的最优化求解方法(梯度下降,牛顿法等等)对这些对应的目标函数进行求解。线性回归模型,我们知道实际上是通过多个自变量对自变量进行曲线拟合。我们希望找到一条可以较好拟合的曲线,
那我们如何判断一条曲线的拟合程度的好坏。上面讲到,我们采用的是最小二乘法(预测值和真实值得误差的平方和),那为什么要用这个作为目标函数呢?
可以从中心极限定理、高斯分布来分析:1.中心极限定理:设有n个随机变量,X1,X2,X3,Xn,他们之间相互独立,并且有相同的数学期望和均值。E(X)=u;D(x)=δ2.令Yn为这n个随机变量之和。
Zn为X这几个变量的规范和。
2.高斯分布 假的给定一个输入样本x,我们得到预测值和真实值间的存在的误差e,那么他们的关系如下:
而这里,我们就可以假设e服从标准的高斯分布。为什么呢?回归模型的最终目标是建立自变量x和y之间的关系,我们希望通过x可以较为准确的表示结果y。而在实际应用场景中,很难甚至不可能把导致y结果的所有变量(特征)都找到,放到回归模型里面。
我们只存放那些认为比较重要的特征。根据中心极限定理,把那些对结果影响比较小的(假设独立分布)之和认为是符合正态分布是合理的。
那么x和y的条件概率:
那么知道一条样本的概率,我们就可以通过极大估计求似然函数,优化的目标函数如下:
通过取对数我们可以发现极大似然估计的目标函数和最小平方误差是一样。
在概率模型中,目标函数的极大和极小与极大似然估计是等价的。
假设随机变量为Y,和普通变量x存在相关关系,由于Y是随机变量,对于x的各个确定值,Y有它的分布(高斯)。 假设为:
使用极大似然估计可求解。我们知道对于下面公式:
y为随机变量,在c=E(y)时达到最小,这表明以E(y)作为y的近似是最好的。
以上笔记仅供自己学习所用,原文请看上面链接
阅读全文
0 0
- (吴恩达笔记 1-1)附——为什么用最小平方和做目标函数
- OpenCV学习笔记(三十六)——Kalman滤波做运动目标跟踪 OpenCV学习笔记(三十七)——实用函数、系统函数、宏core OpenCV学习笔记(三十八)——显示当前FPS OpenC
- OpenCV学习笔记(三十六)——Kalman滤波做运动目标跟踪
- 交互设计笔记(1)——目标向导设计
- 为什么精英都是清单控(笔记)——清单可以做什么
- 做职业监理师(一)——找准目标
- NOJ——1658平方和(自然数平方和公式和取模法则)
- C++ Primer学习笔记(9)——为什么要用内联函数
- OpenCV学习笔记——Kalman滤波做运动目标跟踪
- Flex布局应用(1)——为什么flex只能做移动端APP开发?
- 用母函数求解平方和公式
- SVM——(一)线性可分之目标函数推导方法1
- 用ogre做图像引擎,用MITA做音频引擎做游戏的源代码1(附完整工程代码资源下载地址)
- 1到m的平方和
- 1+2+...n的平方和
- 1到10的平方和
- 1到10的平方和
- 简单递归—每位平方和
- Bovine Birthday(思维题)
- 队列的顺序存储和链式存储
- 用Jsoup写一个简单的爬虫,并把从网页上面爬下的数据保存到数据库中
- tensorflow读取数据
- GreenDao3.0的使用
- (吴恩达笔记 1-1)附——为什么用最小平方和做目标函数
- windows下通过cmd切换python2和python3版本
- CSS-overflow:auto溢出加滚动条
- 设计模式:接口隔离原则
- 设计模式-观察者模式-observer-python
- STM32的GPIO
- 武术擂台赛机械小车拼装
- 【学习笔记】JS
- js实现图片旋转效果