台湾国立大学机器学习基石.听课笔记(第九讲):Linear Regression
来源:互联网 发布:音乐网站 知乎 编辑:程序博客网 时间:2024/05/21 17:51
台湾国立大学机器学习基石.听课笔记(第九讲):
Linear Regression(线性回归)
1、线性回归问题
例如,信用卡额度预测问题:特征是用户的信息(年龄,性别,年薪,当前债务,...),我们要预测可以给该客户多大的信用额度。 这样的问题就是回归问题。
目标值y 是实数空间R。
目标值y 是实数空间R。
线性回归假设的思想是:寻找这样的直线/平面/超平面,使得输入数据的残差最小。
通常采用的error measure 是squared error:
通常采用的error measure 是squared error:
2、线性回归算法
squared error 的矩阵表示:
Ein 是连续、可微的、凸函数,可以通过偏微分求极值的方法来求参数向量w。由于是凸函数,所以其最小值就是其极小值。
求得Ein(w) 的偏微分:
上面分两种情况来求解w。当(X^T)*X(X 的转置乘以X) 可逆时,可以通过矩阵运算直接求得w;不可逆时,直观来看情况就没这么简单。
实际上,无论哪种情况,我们都可以很容易得到结果。因为许多现成的机器学习/数学库帮我们处理好了这个问题,只要我们直接调用相应的计算函数即可。有些库中把这种广义求逆矩阵运算成为 pseudo-inverse。
到此,我们可以总结线性回归算法的步骤(非常简单清晰):
3、线性回归是一个“学习算法” 吗?
我们在这通过数学来证明:
最后得到:
4、线性回归与线性分类器
比较一下线性分类与线性回归:
之所以能够通过线程回归的方法来进行二值分类,是由于回归的squared error 是分类的0/1 error 的上界,我们通过优化squared error,一定程度上也能得到不错的分类结果;或者,更好的选择是,将回归方法得到的w 作为二值分类模型的初始w 值。
线性回归与线性分类有相同之处,我们以后求解线性分类时,可以先求线性回归,看看它的结果。最后,再用线性分类进行进一步求解相关问题。
这样,我们就基本搞定了线性回归。#
0 0
- 台湾国立大学机器学习基石.听课笔记(第九讲):Linear Regression
- 台湾国立大学机器学习基石.听课笔记(第十一讲):Linear Models of Classification
- 台湾国立大学机器学习基石.听课笔记(第十讲):Logistic Regression
- 听课笔记(第三讲): 机器学习的分类学 (台湾国立大学机器学习基石)
- 台湾国立大学机器学习基石.听课笔记(第三讲): 机器学习的分类
- 台湾国立大学机器学习基石.听课笔记(第四讲): 机器学习的可行性
- 台湾国立大学机器学习基石.听课笔记(第四讲): 机器学习的可行性
- 听课笔记(第四讲):学习的可行性分析 (台湾国立大学机器学习基石)
- 听课笔记(第二讲): Perceptron-感知机 (台湾国立大学机器学习基石)
- 台湾国立大学机器学习基石.听课笔记(第六讲): 一般化(举一反三)的理论
- 听课笔记(第二讲): Perceptron-感知机 (台湾国立大学机器学习基石)
- 听课笔记(第一讲):台湾国立大学的《机器学习基石》(Coursera 版)
- 台湾国立大学机器学习基石.听课笔记(第五讲): 训练和测试有什么不同
- 台湾国立大学机器学习基石.听课笔记(第七讲):The VC Dimension
- 台湾国立大学机器学习基石.听课笔记(第八讲):Noise and Error
- 台湾国立大学机器学习基石.听课笔记(第十二讲):Nonlinear Transformation
- 台湾国立大学机器学习基石.听课笔记(第十四讲):Regularization
- 台湾国立大学机器学习基石.听课笔记(第十五讲):validation
- Linux下用指定的源地址去Ping对端IP
- 零基础学python-3.1 python基本规则和语句
- ST 概念篇
- hdu1071The area(计算几何)
- 从hadoop 2.2.2 伪分布模式搭建环境准备
- 台湾国立大学机器学习基石.听课笔记(第九讲):Linear Regression
- oracle 学习笔记(二)
- 虚拟机与宿主机互通
- Qt控件随窗口大小变化的设置方法(QTDesigner)
- 关于编译的一些小知识
- 黑马程序员——ios基础---C语言:数据类型、运算符、选择结构
- Hibernate中的延迟加载机制
- Java JDBC 学习笔记 - 可更新的结果集
- myHttpRequestVolley