贝叶斯决策理论和概率密度估计方法
来源:互联网 发布:创业软件 俞青 编辑:程序博客网 时间:2024/05/24 05:42
贝叶斯决策理论和概率密度估计方法
这学期学习了《模式识别》这门课程,刚刚考完试,趁着考试复习的机会把模式识别的基础方法总结了一下了,这一篇的主要内容是转自Angel_Yuaner大神的博客,提供原链接整理如下。
贝叶斯决策理论
贝叶斯决策有两个基本要求
- 各类别总体的概率分布是已知的
- 待决策分类的类别数是一定的
贝叶斯决策时是从样本空间到决策空间的一个映射,贝叶斯决策是所有识别方法的一个基准。
贝叶斯决策论
贝叶斯公式和贝叶斯决策贝叶斯决策论有两种决策规则:
- 基于最小错误率贝叶斯决策
- 基于最小风险的贝叶斯决策
概率密度估计方法
贝叶斯决策中需要先验概率和类条件概率密度,因此需要进行概率密度估计。如果概率密度函数的形式已知,则为参数估计,常见的方法有:
- 贝叶斯估计
- 最大似然法
如果概率密度函数的形式未知的,就需要用样本把概率密度函数直接估计出来,这叫做非参数估计。最基本的方法有:
- 直方图法、K_n邻近法、Parzen窗法
线性判别方法
线性判别主要有三个判别准则,分别是:
- Fisher准则:根据两分类样本一般类内聚集,类间分离的特点,寻找线性分类器最佳的法线向量方向,使两类样本在该方向上的投影满足类内尽可能聚集,类间尽可能分离。这种度量通过类内离散矩阵Sw和类间离散矩阵Sb实现。
- 感知器准则函数:准则函数以使错分样本到分界面距离之和最小为原则,优点是通过错分样本提供的信息对分类器函数进行修正。
支持向量机:基本思想是在两类线性可分条件下,所设计的分类器界面使两类的间隔最大,基本出发点是使期望泛化风险尽可能小。
- Fisher线性判别
- 感知器
- SVM
统计基础知识
正态分布
正态分布也称为高斯分布。客观世界中很多变量都服从或近似服从正态分布,且正态分布具有很好的数学性质,所以正态分布也是人们研究最多的分布之一。
正态分布协方差
协方差反映了数据不同维度之间的关系,在统计分析中有重要的作用,如PCA中。
协方差
PCA教程
补充之中。。。
阅读全文
0 0
- 贝叶斯决策理论和概率密度估计方法
- 模式识别(一)贝叶斯决策理论和未知概率密度函数估计
- parzen窗方法和k近邻方法估计概率密度
- 概率密度估计的Parzen窗方法
- 概率密度函数和似然估计
- 概率密度估计简介
- 概率密度估计简介
- 概率密度估计简介
- 概率密度函数估计
- 概率密度估计
- 概率基础及贝叶斯决策理论
- (转)非参数概率密度估计的方法
- 概率密度函数估计简介
- Parzen window概率密度估计
- 核概率密度估计介绍
- 概率密度函数估计简介
- Perzen窗概率密度估计
- Parzen window概率密度估计
- 获取本地视频,网络视频的第一帧图片,使之显示出来
- Android之实现倒计时
- VC++之ComboBox的用法总结
- Windows下c# 基于 aapt 解析安卓apk
- 关于java反射机制的学习
- 贝叶斯决策理论和概率密度估计方法
- MFC ActiveX (ocx)控件的开发
- leetcode 35: Search Insert Position
- 说说 JavaScript 事件流之内存和性能
- java基础总结(二)
- 130. Surrounded Regions
- box-sizing属性解析
- ubuntu ssd-caffe 配置问题之syntax error near unexpected token '('
- Linux--线程死锁