Pattern Recognition and Machine Learning 第三章 线性回归模型
来源:互联网 发布:软件项目管理案例 编辑:程序博客网 时间:2024/05/24 07:47
标签: 机器学习
线性回归模型
线性,即关于参数的线性函数;回归,表示需要预测的量是连续的。建模后可以对任意未知的变量求出目标量,或者是目标的概率分布以表示结果的不确定性。
线性基函数模型
在求最大似然的参数时可以发现,偏置参数的取值为
从数据处理的角度看,最好是流水线处理顺序数据,这样每次只要对原有参数进行修正即可得到新的参数。常采用随机/顺序梯度下降法来完成
为避免过拟合,设置正则化参数使得
偏置-方差分解
最大似然方法的局限性在于难以确定
贝叶斯线性回归
可以自动设置模型的复杂程度的自动化方法,避免过拟合和有价值的数据的浪费。
参数分布
利用中间变量w传递输入与输出的关系。认为参数w具有概率分布,存在先验分布,求后验分布。共轭先验
预测分布
甩开了中间的参数变量,试图直接建立输入与输出的关系。
预测的不确定性依赖于x,并且在数据点的邻域内最⼩;不确定性的程度随着观测到的数据点的增多⽽逐渐减⼩。在后验分布中随机取值,但都不会超过预测取值标准差的范围内。
贝叶斯模型比较
一个模型指的是观测数据D上的概率分布。为了避免模型过于简单或者复杂,这里要解决一个模型选择的问题。贝叶斯用概率表示模型选择的不确定性,分别以混合分布(模型平均)或者模型选择(选择最可能的)来选择最可能的模型。
用一些数据D来比较各种模型
先暂时省略对
证据近似
经验贝叶斯/第二类最大似然/证据近似方法:首先对参数 w 求积分,得到边缘似然函数,然后通过最大化边缘似然函数,确定超参数的值。
预测分布可以通过对 w, α 和 β 求积分的方法得到,
即
对超参数
1. 对数近似求导
2. 期望最大化(EM)算法
这章用的方法在第一章的例子中已经出现过了,但是更为理论性地证明了参数选取造成了复杂、简单模型的不同。至于证据近似和贝叶斯模型比较里出现的式子,为了说明参数需要适中选取这个道理,也是硬推出了许多公式,然而并不知道有什么用……消去参数就能避免过拟合,也不用管归一化了,这个在第一章的时候倒是没有想到,纯粹觉得预测分布的计算量很大。
- 由于多项式基函数是幂函数,覆盖了全空间,对于输入空间一个区域的改变将会影响所有其他的区域。因此要分类讨论,把空间分成多个不同区域用不同的函数拟合,即spline函数(条函数)。 ↩
- 交叉验证优化模型参数,见转载文章 ↩
- Pattern Recognition and Machine Learning 第三章 线性回归模型
- Pattern Recognition and Machine Learning 第四章 线性分类模型
- Pattern Recognition and Machine Learning 第二章 概率分布
- Pattern Recognition and Machine Learning 第八章 贝叶斯网络
- 《Pattern recognition and machine learning》第一章 笔记
- 【Pattern Recognition and Machine Learning】p7 preface
- Pattern Recognition And Machine Learning读书会前言
- 《Pattern Recognition and Machine Learning》学习笔记 第一章(一)
- 《Pattern Recognition and Machine Learning》学习笔记 第一章(二)
- 《Pattern Recognition and Machine Learning》学习笔记 第一章(三)
- PRML(Pattern Recognition And Machine Learning)学习【1】
- PRML(Pattern Recognition And Machine Learning)学习【2】
- 【Pattern Recognition and Machine Learning】p8-9 preface
- 【Pattern Recognition and Machine Learning】p10-11 Mathematical notations
- pattern recognition and machine learning这本书怎么看?
- Chapter 10.1 Variational Inference <Pattern Recognition and Machine Learning>
- Pattern Recognition and Machine Learning 第一章学习小记
- 翻译 《Pattern Recognition and Machine Learning》(PRML)的前言
- 表ADT
- Gradle Dependencies Helper插件
- 交叉验证(Cross-validation)
- 左神的书——《程序员代码面试指南》之最大01子矩阵的大小 c++实现
- 程序员面试金典: 9.4树与图 4.8判断一棵树是否是另一棵树的子树
- Pattern Recognition and Machine Learning 第三章 线性回归模型
- C++学习笔记之类基础
- linux时间子系统 - 动态任务
- 如何给网页标题添加icon小图标
- python编程(python开发的三种运行模式)
- 左神的书——《程序员代码面试指南》之最大值减去最小值小于或等于num的子数组的数量 c++实现
- 【LeetCode】Fizz Buzz 解题报告
- 一步步搭建Android开发环境并开发第一个Android应用!
- 替换homebrew默认源