最小二乘法与梯度下降法有哪些区别?
来源:互联网 发布:骏飞竞拍系统源码 编辑:程序博客网 时间:2024/05/22 02:28
1、最小二乘法的目标:求误差的最小平方和,对应有两种:线性和非线性。线性最小二乘的解是closed-form即,而非线性最小二乘没有closed-form,通常用迭代法求解。
2、迭代法,即在每一步update未知量逐渐逼近解,可以用于各种各样的问题(包括最小二乘),比如求的不是误差的最小平方和而是最小立方和。
a)梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。
b)高斯-牛顿法是另一种经常用于求解非线性最小二乘的迭代法(一定程度上可视为标准非线性最小二乘求解方法)。
c)还有一种叫做Levenberg-Marquardt的迭代法用于求解非线性最小二乘问题,就结合了梯度下降和高斯-牛顿法。
所以如果把最小二乘看做是优化问题的话,那么梯度下降是求解方法的一种,是求解线性最小二乘的一种,高斯-牛顿法和Levenberg-Marquardt则能用于求解非线性最小二乘。
作者:知乎用户
链接:https://www.zhihu.com/question/20822481/answer/23648885
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
阅读全文
1 0
- 最小二乘法与梯度下降法有哪些区别?
- 最小二乘法和梯度下降法有哪些区别?
- 最小二乘法和梯度下降法有哪些区别?
- 最小二乘法和梯度下降法有哪些区别? 以及梯度下降法Python实现
- 最小二乘法与梯度下降法的区别?
- 最小二乘法与梯度下降法
- 最小二乘法与梯度下降法
- 最小二乘法、梯度下降法和两者区别
- 最小二乘法&梯度下降法
- 机器学习 -- 最小二乘法与梯度下降法
- 最小二乘法与梯度下降法比较
- 最小二乘法以及最小二乘法和梯度下降法的区别
- 最小二乘法和梯度下降法
- 线性回归参数估计--最小二乘法与梯度下降法
- 线性回归参数估计--最小二乘法与梯度下降法Python实现
- 梯度下降法,最小二乘法求线性回归
- 梯度下降法,最小二乘法求线性回归
- 数据分析---最小二乘法和梯度下降法
- php如何比较两个数组是否相等???
- js、css 更新缓存
- SQlite3软件的安装方法说明(附打包资源)
- 关于Android的.so文件你所需要知道的
- idea中遇到问题解决办法
- 最小二乘法与梯度下降法有哪些区别?
- Sping-Boot 单元测试
- python-对象、私有属性_方法、继承(多重继承)、重写
- WebView的总结
- linux三
- OpenStack大规模部署详解 Ocata
- 题目:解决Python2.7的UnicodeEncodeError: ‘ascii’ codec can’t encode异常错误
- com.sun.org.apache.xerces.internal.impl.io.MalformedByteSequenceException: Invalid byte 2 of 2-byte
- js 判断数组 对象 为空