【机器学习】贝叶斯决策论小结
来源:互联网 发布:近五年mpacc报考数据 编辑:程序博客网 时间:2024/06/11 00:38
贝叶斯决策论是解决模式分类问题的一种基本统计途径。其假设:决策问题可以用概率的形式来描述,并且所有有关的概率结构均已知。现对其进行一下简单的总结。
贝叶斯决策准则
按照不同决策标准,会得到不同意义下的最优决策。
最小错误率准则
最小风险准则
最小最大决策准则
Neyman-Pearson准则
最小错误率准则
若样本
则得到误差概率如下:
我们希望平均误差概率最小,
对任意的
此时
因此,得到了最小误差率下的贝叶斯决策准则:如果
根据条件概率,可以将上式转换为
上式也可变为
最小风险准则
考虑各种错误造成损失不同而提出的决策规则。
定义风险函数
定义某一样本
则所有样本采取完某行为后的总风险:
要使得总风险最小,则需要每个样本采取的行为风险
贝叶斯决策规则:每个样本的行为风险最小。
极小化极大准则
消除先验概率
举例子:二分类问题。
设
将条件
以及
上式表明,一旦判决边界
令
简单地说,我们寻找使得贝叶斯风险最大的先验概率,相应的决策边界给出了极小化极大决策结果,因此极小化极大风险值
极小化极大准则,常用于“博弈论”中。
Neyman-Pearson准则
损失函数无法确定;先验概率
需要用Lagrange乘子法求条件极值。
例如,在限定
s.t.
用lagrange乘子法:
为了求极值点,
Neyman-Pearson决策准则:
若
若
分类器的设计
基于最小误差概率的贝叶斯分类器
基于最小总风险的贝叶斯分类器
多类别判别函数
若求解决策面,
小结
贝叶斯决策论是基于概率论的决策,根据不同决策准则,分别得到不同决策意义下的最优判断。
- 【机器学习】贝叶斯决策论小结
- 贝叶斯决策论小结
- 贝叶斯决策论小结
- 机器学习: 贝叶斯决策 1
- 机器学习: 贝叶斯决策 2
- 机器学习之一——贝叶斯决策论
- 【机器学习】(5):贝叶斯决策定理
- 贝叶斯决策小结
- 机器学习----贝叶斯分类器(贝叶斯决策论和极大似然估计)
- 机器学习系列04——贝叶斯决策(Bayes)
- 模式识别与机器学习(一):概率论、决策论、信息论
- 模式识别与机器学习(一):概率论、决策论、信息论
- 模式识别与机器学习(一):概率论、决策论、信息论
- 贝叶斯决策与参数估计小结
- 机器学习笔记之决策边界
- 贝叶斯学习决策算法
- PRML Ch 1: Introduction 从概率论、决策论和信息论的角度来看机器学习
- 机器学习小结
- 5-4 是否同一棵二叉搜索树
- iOS基础之NSXXX与NSMutableXXX的本质区别
- linux之top命令
- 优先队列+bfs 模板
- Java8读文件的方法
- 【机器学习】贝叶斯决策论小结
- python报错: Python.h: 没有那个文件或目录
- 用C#写的小工具,可以将当前文件夹及其子文件夹内的所有文本文件转换为utf-8编码格式。
- POJ1125
- Eclipse安装Spring IDE,Hibernate Tool
- SpringMVC 与oracle数据库的交互
- 51nod 1278
- 前端学习入门书籍
- SVN服务器搭建和使用