Pattern Recognition and Machine Learning 第四章 线性分类模型
来源:互联网 发布:java中获取当前时间 编辑:程序博客网 时间:2024/06/13 20:20
标签: 机器学习
线性分类模型
分类的目标是将输入变量 x 分到 K 个离散的类别
采用决策论分类时,也是要先推断(即训练学习)再做决策。有三种方法得到决策:
- 判别函数,不用概率,直接定义函数进行分类
- 生成式法:
∑p(x,Ck)→p(x)→p(x|Ck)→p(Ck|x) - 判别式法,直接从数据求
p(Ck|x)
判别函数
将x分类到
区别两类
分界面
区别多类
区别K类,若分界面是区分A和
故规定K类判别函数,由K个线性函数组成
Fisher线性判别法
选择已经分好类的点,对每一类的点求一个均值作为这一类的特征,如
也有可能两个类别在原始二维空间中
Fisher提出的思想是最大化一个函数,这个函数能够让类均值的投影分开得较大,同时让每个类别内部的方差较小,从而最小化类别的重叠。
将D维x投影到一维y,
对判别函数求导,得最大化条件为
该结果被称为Fisher线性判别函数( Fisher linear discriminant ),虽然严格来说它并不是一个判别函数,而是对于数据向一维投影的方向的一个具体选择。然而投影的数据可以接下来被用于构建判别函数。
对于多分类的 Fisher 判别函数,见书…
概率生成式模型
对类条件概率密度
常用函数σ(a),logistic sigmoid函数
对于二类,代入
对于多类,代入
连续变量
假设各个类别的协方差矩阵相同,
对于二元类,
对于多类,
求得的决策边界对应于后验概率
如果不假设各个类别的协方差矩阵相同,允许每个类条件概率密度
高斯分布在等高线图中,若协方差矩阵是任意的,则呈任意方向的椭圆形状;若为对称矩阵,则呈长轴与x轴平行的椭圆形;若为对角矩阵,则为圆形。(前面貌似有看到这个性质)
离散变量
每个变量有2种取值0或1,做出朴素贝叶斯1(naive Bayes)的假设,特征值被看成相互独立的,以类别
如果不知道先验类分布和条件密度怎么办?
由数据学习联合概率密度分布
概率判别式模型
显式地使用一般的线性模型的函数形式,然后使用最大似然法直接确定它的参数。优点是只需要调节更少的参数。
logistic 回归2
使用统计学的术语,这个模型被称为logistic回归,但这是一个分类模型而不是回归模型。
缺点:最大似然方法对于线性可分的数据集会产生严重的过拟合现象。通过引入先验概率,然后寻找 w 的MAP解,或通过给误差函数增加一个正则化项,这种奇异性就可以被避免。
对于多类,类似于离散多元变量的推导,再结合前面的softmax函数,求最大似然。
贝叶斯logistic回归
(无风不起浪,并且好饿……)
对logistic回归做贝叶斯推断是不可行的。
步骤如下:
- 确认一个先验形式,如高斯分布
- 对w的后验做Laplace近似,得到近似的高斯分布
- 用反probit函数近似logistic sigmoid得到预测分布
- 给定决策后得到预测
(+_+)
- 对于给出的待分类项,求解在此项出现的条件下各个类别出现的概率,哪个最大,就认为此待分类项属于哪个类别。参考文章,朴素贝叶斯分类 ↩
- 海哥的作文来了,Logistic回归和梯度上升算法 ↩
- Pattern Recognition and Machine Learning 第四章 线性分类模型
- Pattern Recognition and Machine Learning 第三章 线性回归模型
- Pattern Recognition and Machine Learning 第二章 概率分布
- Pattern Recognition and Machine Learning 第八章 贝叶斯网络
- 《Pattern recognition and machine learning》第一章 笔记
- 【Pattern Recognition and Machine Learning】p7 preface
- Pattern Recognition And Machine Learning读书会前言
- 《Pattern Recognition and Machine Learning》学习笔记 第一章(一)
- 《Pattern Recognition and Machine Learning》学习笔记 第一章(二)
- 《Pattern Recognition and Machine Learning》学习笔记 第一章(三)
- PRML(Pattern Recognition And Machine Learning)学习【1】
- PRML(Pattern Recognition And Machine Learning)学习【2】
- 【Pattern Recognition and Machine Learning】p8-9 preface
- 【Pattern Recognition and Machine Learning】p10-11 Mathematical notations
- pattern recognition and machine learning这本书怎么看?
- Chapter 10.1 Variational Inference <Pattern Recognition and Machine Learning>
- Pattern Recognition and Machine Learning 第一章学习小记
- 翻译 《Pattern Recognition and Machine Learning》(PRML)的前言
- 欢迎使用CSDN-markdown编辑器
- android_36_多线程断点续传
- Tv开发中Actionbar焦点问题
- Class和ClassLoader的getResourceAsStream区别
- ClassLoader.getResourceAsStream(name);获取配置文件的方法
- Pattern Recognition and Machine Learning 第四章 线性分类模型
- 13.总线设备驱动模型(2)-平台总线设备设计
- 【李木华】栈
- android studio工程调用aar库运行时出现class no found exception
- list-style
- jquery Onload()和 ready()的区别
- -webkit-tap-highlight-color -webkit-touch-callout
- Leedcode_remove_duplicates_from_sortted_array
- Spring的DAO模块数据库操作实例