机器学习----贝叶斯分类器(贝叶斯决策论和极大似然估计)
来源:互联网 发布:大话西游服务端源码 编辑:程序博客网 时间:2024/05/22 10:42
贝叶斯决策论
贝叶斯决策论(Bayesian decision theory)是概率框架下实施决策的基本方法。在所有相关概率都已知的理想情况下,贝叶斯决策论考虑如何基于这些概率和误判断来选择最优的类别标记。
假设有N种可能的类别标记,即
我们的任务是寻找一个判定准则
显然,对每个样本x,若h能最小化条件风险
为最小化总体风险,只需在每个样本上选择哪个能使条件风险
此时
后验概率最大化的意义
若我们的问题为分类问题,则可以有:
此时条件风险为
于是,最小化分类错误率的贝叶斯最优分类器为
所以我们可以看出后验概率最大化就是期望风险最小化。这里我们用了期望风险这个词,其实和上面的条件风险是一个东西。
生成方法解决之道
不然看出我们要解决后延概率
其中,P(c)是类“先验”(prior)概率;P(x|c)是样本x相对于类标记c的类条件概率(class-conditional probality),或者成为“似然”(likelihood);P(x)是用于归一化的“证据”(evidence)因子。对于给定样本,p(x)与类标记无关,因此估计p(c|x)的问题就转化为如何基于训练样本数据D来估计先验概率P(c)和似然P(x|c)。
极大似然估计
估计类条件概率的一种常用策略是先假定其具有某种确定的概率分布形式,再基于训练样本对概率分布的参数进行估计。事实上,概率模型的训练过程就是参数估计(parameter estimation)过程。
对于参数估计,统计学界有两种方案:
- 频率主义学派(Frequentist)认为参数虽然未知,但却是客观存在的固定值,因此可通过优化似然函数等准则来确定参考值;
- 贝叶斯学派(Bayesian)则认为参数是未观察到的随机变量,其本身也可有分布,因此,可假定参数服从一个先验分布,然后基于观测到的数据来计算参数的后验分布。
极大似然估计是频率主义学派的经典方法~其思想就是目前出现的分布是概率最大的分布。
令
极大似然就是
上式连乘容易造成结果下溢,通常使用对数似然(log-likelihood):
此时,参数
参考:周志华 《机器学习》
0 0
- 机器学习----贝叶斯分类器(贝叶斯决策论和极大似然估计)
- 极大似然估计和贝叶斯估计
- 极大似然估计和贝叶斯估计
- 极大似然估计和贝叶斯估计
- 极大似然估计和贝叶斯估计
- 极大似然估计和贝叶斯估计
- 极大似然估计和贝叶斯估计
- (转)极大似然估计和贝叶斯估计
- 机器学习数学|极大似然估计
- 机器学习(一):极大似然估计
- 极大似然估计(MLE)和贝叶斯估计(MAP)
- 机器学习笔记(VII)线性模型(III)对数几率回归和极大似然估计
- 参数估计(极大似然估计,极大后验概率估计,贝叶斯估计)
- 极大似然估计与贝叶斯估计
- 极大似然估计与贝叶斯估计
- 极大似然估计与贝叶斯估计
- 贝叶斯估计 极大似然
- 机器学习笔记(二)矩估计,极大似然估计
- LinearLayout 的layout_gravity使用
- 初窥Linux 之 数据流重定向
- Intellij IDEA打开就闪退或关闭
- 动态规划---最长公共子序列
- c Get方式请求网络接口
- 机器学习----贝叶斯分类器(贝叶斯决策论和极大似然估计)
- LLVM学习笔记(8)
- 关于出现php -m和phpinfo不一致的问题
- 奇技淫巧系列
- SQLServer提示评估期已过解决方案
- idea_life_2
- 从操作数据库谈到Template模式
- Android开发中多点触摸的实现方法
- 仿美团loading加载中的动画