回归-用极大似然估计来解释最小二乘
来源:互联网 发布:威廉姆斯学院 知乎 编辑:程序博客网 时间:2024/06/05 19:43
导语
这是线性回归的第一篇,后面还有多篇,包括普通最小二乘、梯度下降、牛顿法等知识,本篇主要是阐述最小二乘法损失函数与高斯分布的联系,虽然逻辑回归也是线性回归的一个变种,但它主要是0-1分布,不在本篇讨论之列。
损失函数
任何一本概率论书在讲线性回归时都会说到一个方法,叫做最小二乘法,这里先给出线性回归的定义式:
这里是一种表达习惯,
X 与θ 都是列向量
给定一系列样本与观测值,现在来拟合参数
这个公式就是大名顶顶的最小二乘建立的目标公式,
我们假设观测值与理论值是有误差的,那么我们可以定义如下公式,其中
到这里,损失函数就算是定义完成了,也许有人问了, 为啥是“理论值-观测值”的平方,绝对值不行吗?4次方不行吗?ok,这个问题下面解释。
正态分布与极大似然估计
关于正态分布本身,这里不做过多解释,这里假设读者对于正态分布已经有一定的了解,正态分布是非常常见的一种分布,这里假设误差是符合高斯分布的,且期望为0,原理可参见中心极限定理。误差既然符合高斯分布,那么我们可写出它的概率公式:
由上一节的误差公式可看出,
现在总共有
对似然函数求对数,得:
推到这里,想要让似然函数取得最大值,则损失函数必须要取得最小值,最小二乘法得到解释。
0 0
- 回归-用极大似然估计来解释最小二乘
- 极大似然估计解释最小二乘
- 机器学习笔记之(四)用极大似然估计解释最小二乘
- 概率统计与机器学习:独立同分布,极大似然估计,线性最小二乘回归
- 最大似然估计与最小二乘的解释
- 逻辑回归、线性回归、最小二乘、极大似然、梯度下降
- 极大似然与最小二乘
- 最小二乘问题与线性回归中的最大似然估计等价
- 关于最大似然估计和最小二乘估计
- 最小二乘、极大似然、梯度下降法
- 二、极大似然估计
- §2 回归系数的最小二乘估计
- 【机器学习】一元线性回归模型:最小二乘估计
- 极大似然估计的直观解释
- 最小二乘回归
- 最小二乘回归
- 最大似然估计和最小二乘估计的区别与联系
- 最大似然估计和最小二乘估计的区别与联系
- iOS中级(一) 正则表达式
- C/C++经典源代码网站
- CCF 201312-3最大的矩形
- The method replace(int, Fragment) in the type FragmentTransaction is not applica
- 几个基础数位DP (hdu 2089,hdu 3555 ,uestc 1307 windy 数)
- 回归-用极大似然估计来解释最小二乘
- Redis集群进阶-移除节点
- Android Studio 快捷键
- 2015年暑期ACM集训总结
- 求最大公倍数
- 使用YUM安装ZABBIX监控
- /proc
- JavaScript学习笔记之数据类型和("32"+32)和("32"-32)输出结果
- MYSQL手工注入入门示例