台湾大学林轩田机器学习基石课程学习笔记9 -- Linear Regression
来源:互联网 发布:园林景观设计制图软件 编辑:程序博客网 时间:2024/06/14 06:25
上节课,我们主要介绍了在有noise的情况下,VC Bound理论仍然是成立的。同时,介绍了不同的error measure方法。本节课介绍机器学习最常见的一种算法:Linear Regression.
一、线性回归问题
在之前的Linear Classification课程中,讲了信用卡发放的例子,利用机器学习来决定是否给用户发放信用卡。本节课仍然引入信用卡的例子,来解决给用户发放信用卡额度的问题,这就是一个线性回归(Linear Regression)问题。
令用户特征集为d维的
根据上图,在一维或者多维空间里,线性回归的目标是找到一条直线(对应一维)、一个平面(对应二维)或者更高维的超平面,使样本集中的点更接近它,也就是残留误差Residuals最小化。
一般最常用的错误测量方式是基于最小二乘法,其目标是计算误差的最小平方和对应的权重w,即上节课介绍的squared error:
这里提一点,最小二乘法可以解决线性问题和非线性问题。线性最小二乘法的解是closed-form,即
最小二乘法和梯度下降法的一些总结
二、线性回归算法
样本数据误差
首先,运用矩阵转换的思想,将
然后,对于此类线性回归问题,
根据梯度的思想,对
令偏导为零,最终可以计算出权重向量
最终,我们推导得到了权重向量
但是,我们注意到,伪逆矩阵中有逆矩阵的计算,逆矩阵
三、泛化问题
现在,可能有这样一个疑问,就是这种求解权重向量的方法是机器学习吗?或者说这种方法满足我们之前推导VC Bound,即是否泛化能力强
有两种观点:1、这不属于机器学习范畴。因为这种closed-form解的形式跟一般的机器学习算法不一样,而且在计算最小化误差的过程中没有用到迭代。2、这属于机器学习范畴。因为从结果上看,
其实,只从结果来看,这种方法的确实现了机器学习的目的。下面通过介绍一种更简单的方法,证明linear regression问题是可以通过线下最小二乘法方法计算得到好的
首先,我们根据平均误差的思想,把
我们称
下面从几何图形的角度来介绍帽子矩阵H的物理意义。
图中,y是N维空间的一个向量,粉色区域表示输入矩阵X乘以不同权值向量w所构成的空间,根据所有w的取值,预测输出都被限定在粉色的空间中。向量
机器学习的目的是在粉色空间中找到一个
从图中可以看出,
这里trace(I-H)称为I-H的迹,值为N-(d+1)。这条性质很重要,一个矩阵的 trace等于该矩阵的所有特征值(Eigenvalues)之和。下面给出简单证明:
介绍下该I-H这种转换的物理意义:原来有一个有N个自由度的向量y,投影到一个有d+1维的空间x(代表一列的自由度,即单一输入样本的参数,如图中粉色区域),而余数剩余的自由度最大只有N-(d+1)种。
在存在noise的情况下,上图变为:
图中,粉色空间的红色箭头是目标函数f(x),虚线箭头是noise,可见,真实样本输出y由f(x)和noise相加得到。由上面推导,已知向量y经过I-H转换为
即
同样,对
这个证明有点复杂,但是我们可以这样理解:
我们把
当N足够大时,
四、Linear Regression方法解决Linear Classification问题
之前介绍的Linear Classification问题使用的Error Measure方法用的是0/1 error,那么Linear Regression的squared error是否能够应用到Linear Classification问题?
下图展示了两种错误的关系,一般情况下,squared error曲线在0/1 error曲线之上。即
根据之前的VC理论,
从图中可以看出,用
五、总结
本节课,我们主要介绍了Linear Regression。首先,我们从问题出发,想要找到一条直线拟合实际数据值;然后,我们利用最小二乘法,用解析形式推导了权重w的closed-form解;接着,用图形的形式得到
注明:
文章中所有的图片均来自台湾大学林轩田《机器学习基石》课程
- 台湾大学林轩田机器学习基石课程学习笔记9 -- Linear Regression
- 台湾大学林轩田机器学习基石课程学习笔记11 -- Linear Models for Classification
- 台湾大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression
- 台湾大学林轩田机器学习基石课程学习笔记14 -- Regularization
- 台湾大学林轩田机器学习基石课程学习笔记15 -- Validation
- 台湾大学林轩田机器学习基石课程学习笔记
- 机器学习基石笔记9——Linear Regression
- 机器学习基石-Linear Regression
- 台湾大学林轩田机器学习基石课程学习笔记2 -- Learning to Answer Yes/No
- 台湾大学林轩田机器学习基石课程学习笔记3 -- Types of Learning
- 台湾大学林轩田机器学习基石课程学习笔记4 -- Feasibility of Learning
- 台湾大学林轩田机器学习基石课程学习笔记5 -- Training versus Testing
- 台湾大学林轩田机器学习基石课程学习笔记6 -- Theory of Generalization
- 台湾大学林轩田机器学习基石课程学习笔记7 -- The VC Dimension
- 台湾大学林轩田机器学习基石课程学习笔记8 -- Noise and Error
- 台湾大学林轩田机器学习基石课程学习笔记12 -- Nonlinear Transformation
- 台湾大学林轩田机器学习基石课程学习笔记13 -- Hazard of Overfitting
- 台湾大学林轩田机器学习基石课程学习笔记16(完结) -- Three Learning Principles
- OpenGL 绘制API统计
- Android 获取本地音乐URI总结
- 50 个 Bootstrap 插件(收藏备用)
- Windows环境下首次安装与使用MYSQL数据库
- ZOJ 1438
- 台湾大学林轩田机器学习基石课程学习笔记9 -- Linear Regression
- Leetcode -- 38. Count and Say
- 尺取法 +POJ 3061
- Android N Graphics之BitmapFactory
- Hibernate_查询_多种查询方式介绍、HQL详解(一)
- Shader Learing(Transparent Shader篇)
- 浅解js中的defaultValue
- 个人网站开发(零):简单介绍
- 操作DOM