矩阵最小二乘求导
来源:互联网 发布:ubuntu服务器版u盘安装 编辑:程序博客网 时间:2024/05/17 09:09
原文地址(http://blog.csdn.net/acdreamers/article/details/44662633)
关于最小二乘问题的求解,之前已有梯度下降法,还有比较快速的牛顿迭代。今天来介绍一种方法,是基于
矩阵求导来计算的,它的计算方式更加简洁高效,不需要大量迭代,只需解一个正规方程组。
在开始之前,首先来认识一个概念和一些用到的定理。矩阵的迹定义如下
一个的矩阵的迹是指的主对角线上各元素的总和,记作。即
好了,有了上述7个定理,就可以来求最小二乘解了。设
那么进一步得到
接下来会涉及到矩阵求导,因为
那么进一步利用矩阵求导并利用上述定理,得到
我们知道在极值点处梯度值为零,即
上述得到的方程组叫做正规方程组,那么最终得到
这样最小二乘问题只需解一个线性方程组即可,不再需要像梯度下降那样迭代了。
既然说到了正规方程组,在介绍一种方程组,叫做超定方程组,它的定义为:把方程个数大于未知量个数的方
程组叫做超定方程组。通常来说,对于一个超定方程组来说,求最小二乘解只需要两边同时乘的转
置,然后得到正规方程组,然后解这个方程就得到了最小二乘解。
0 0
- 矩阵最小二乘求导
- 矩阵求导解最小二乘问题
- 矩阵求导解最小二乘
- 矩阵求导解最小二乘问题
- 矩阵求导解最小二乘系数
- 矩阵求导方法&最小二乘最优解求解过程
- 投影矩阵和最小二乘
- 投影矩阵与最小二乘
- 【线性代数】最小二乘与投影矩阵
- 投影矩阵与最小二乘
- 投影矩阵与最小二乘
- spaugment--生成最小二乘增广矩阵
- 投影矩阵与最小二乘
- Halcon矩阵操作最小二乘
- 最小二乘与投影矩阵
- 线性代数 -- 投影矩阵和最小二乘
- 投影矩阵与最小二乘(二)
- 投影矩阵与最小二乘(二)
- JSON 介绍org.json的使用
- C++中stack的使用
- [从头学绘画] 第09节 二十四式太极拳(13-18)
- oracle建立索引
- (Java)LeetCode-64. Minimum Path Sum
- 矩阵最小二乘求导
- Java并发基础(七)-原子类和并发集合类
- Project Euler Problem 1
- JSON Web Token - 在Web应用间安全地传递信息 JWT
- 平日小问题(6):m进制转十进制
- [hdu5521]最短路优化
- 《图解HTTP》学习笔记
- Cookie的过期时间设置
- ToolBar的使用