斯坦福《机器学习》Lesson1-3感想-------3、线性回归二
来源:互联网 发布:网络歌曲红尘歌曲 编辑:程序博客网 时间:2024/05/19 02:20
从上一篇可知,在监督学习里最重要的就是确定假想函数h(θ),即通过使得代价函数J(θ)最小,从而确定h(θ).
上一篇通过梯度下降法求得J(θ)最小,这篇我们将使用矩阵的方法来解释。
1、普通最小二乘法
利用矩阵的方式,m个训练集(x,y)可以如下表示:
因此,所以
根据 可知,
为使J(θ)最小,通过求导推导可得:
从(式1)中可以看出,需要对矩阵求逆,因此只适用于逆矩阵存在的时候。这就是普通最小二乘法。
2、局部加权线性回归(LocallyWeighted Linear Regression,LWLR)
普通最小二乘法的线性回归有可能出现欠拟合的现象,因为它求的是具有最小均值方差的无偏估计。因此我们可以选择局部加权线性回归算法。在这个算法里,我们给待预测点附近的每一个点赋予一定的权重,然后在这个子集上基于最小均值方差来进行普通的回归。与待预测点越近,权值越重,即使用核对附近的点赋予更高的权重。最常用的就是高斯核。高斯核对应的权重如下:
在(式2)中,我们唯一需要确定的就是,它是用户指定的参数,决定了对附近的点赋予多大的权重。
因此如(式3)所示,局部加权线性回归是一个无参算法。
1 0
- 斯坦福《机器学习》Lesson1-3感想-------3、线性回归二
- 斯坦福《机器学习》Lesson1-3感想-------2、线性回归
- 斯坦福《机器学习》Lesson1-3感想-------4、Logistic回归
- 斯坦福《机器学习》Lesson1-3感想-------1、机器学习的基本定义
- 斯坦福机器学习3之局部线性回归建模
- 斯坦福机器学习课程笔记week2&3 线性/逻辑斯蒂回归
- [机器学习]斯坦福公开课-第3课-局部加权线性回归和logistic回
- 斯坦福机器学习3:线性回归、梯度下降和正规方程组的matlab实现
- 斯坦福机器学习笔记 第1周 二、单变量线性回归(二)
- 斯坦福机器学习公开课笔记(二)--多变量线性回归
- 斯坦福机器学习实现与分析之二(线性回归)
- 斯坦福机器学习笔记 第1周 二、单变量线性回归(一)
- 斯坦福《机器学习》Lesson4感想-------2、广义线性模型
- 斯坦福机器学习笔记 第3周 六、逻辑回归(二)
- (斯坦福机器学习笔记)线性回归练习
- 斯坦福机器学习第二周线性回归、特征值标准
- 【机器学习-斯坦福】学习笔记3 - Logistic回归
- 斯坦福深度学习-线性回归
- RevitAPI: 关闭当前文档Close Active Document
- Solr4.10使用教程(一):solr整合tomcat方法一
- Mac android studio 连接svn导入项目遇到的问题
- jquery 父节点
- 在C++ 中 如何调用 C# 写的DLL
- 斯坦福《机器学习》Lesson1-3感想-------3、线性回归二
- Unity导出的Android项目按钮无法点击问题
- java基础学习笔记3
- 用java实现音乐的播放
- 调用有道词典查词
- Soundex(map映射)
- 蒙版透明,子视图不透明
- Winsock服务器内存资源管理
- 访问网络图片