最大似然估计和最小二乘法怎么理解
来源:互联网 发布:windows rs1 编辑:程序博客网 时间:2024/06/03 14:38
从概率论的角度:
作者:bsdelf
链接:http://www.zhihu.com/question/20447622/answer/25186207
来源:知乎
著作权归作者所有,转载请联系作者获得授权。
- Least Square 的解析解可以用 Gaussian 分布以及最大似然估计求得
- Ridge 回归可以用 Gaussian 分布和最大后验估计解释
- LASSO 回归可以用 Laplace 分布和最大后验估计解释
-------------------------------------------------------------------
下面贴一下我以前的推导给大家参考,相信会有启发。如有错误还望指正 -_-
注意:
下面贴一下我以前的推导给大家参考,相信会有启发。如有错误还望指正 -_-
注意:
- 假设你已经懂得:高斯分布、拉普拉斯分布、最大似然估计,最大后验估计(MAP)。
- 按照李航博士的观点,机器学习三要素为:模型、策略、算法。一种模型可以有多种求解策略,每一种求解策略可能最终又有多种计算方法。以下只讲模型策略,不讲算法。(具体怎么算,convex or non-convex, 程序怎么写,那是数值分析问题)
首先假设线性回归模型具有如下形式:
其中,,误差。
当前已知,,怎样求呢?
策略1. 假设,也就是说,那么用最大似然估计推导:
这不就是最小二乘么。
其中,,误差。
当前已知,,怎样求呢?
策略1. 假设,也就是说,那么用最大似然估计推导:
这不就是最小二乘么。
策略2. 假设,,那么用最大后验估计推导:
这不就是 Ridge 回归么?
策略3. 假设,,同样用最大后验估计推导:
这不就是 LASSO 么?
不知大家看懂没,简直是完美统一啊。
作业:)
这不就是 Ridge 回归么?
策略3. 假设,,同样用最大后验估计推导:
这不就是 LASSO 么?
不知大家看懂没,简直是完美统一啊。
作业:)
- 策略1和2最终的目标函数都是常规的极值问题,试求出解析解。
- 有一种常见的回归通篇没有提到,也可以纳入上述体系,试找出策略4并推导之。
参考文献:
[1] Machine Learning
[2] The Elements of Statistical Learning
作者:bsdelf
链接:http://www.zhihu.com/question/20447622/answer/25186207
来源:知乎
著作权归作者所有,转载请联系作者获得授权。
0 0
- 最大似然估计和最小二乘法怎么理解
- 最大似然估计和最小二乘法怎么理解?
- 最小二乘法和最大似然估计
- 最小二乘法和最大似然估计
- 最大似然估计和最小二乘法
- 最大似然估计和最小二乘法
- 关于最大似然估计和最小二乘法的理解和公式推导
- 最小二乘法与最大似然估计
- 最小二乘法和极大似然估计
- 最小二乘法与最大似然估计等价关系的推导
- 理解最大似然估计
- 最大似然估计理解
- 矩估计和最大似然估计
- 最大似然估计和最大后验估计
- 最大似然估计和最大后验概率估计
- 如何理解最大似然估计?
- 通俗理解最大似然估计,最大后验概率估计,贝叶斯估计
- 极大似然估计与最小二乘法
- 火车进站-即数的全排列问题
- 面向对象方法编一个简易的控制台版贪吃蛇(三)
- HDU 1829 A Bug's Life 带权并查集
- 最短编辑距离
- ionic 开发中常用的一些插件
- 最大似然估计和最小二乘法怎么理解
- C#的第15节课
- 求二叉树的深度
- 开发中那些头疼的“顾虑”
- easyui 列表绑定跳转搜索
- FileItem类的常用方法
- memcached 在Java实例中的使用
- Hdu 1028 Ignatius and the Princess III(整数拆分问题,DP)
- JPush 的一些总结