贝叶斯分类器(二)
来源:互联网 发布:辽宁大石药业淘宝 编辑:程序博客网 时间:2024/06/06 18:52
上篇文章介绍了贝叶斯决策论和朴素贝叶斯分类器,这篇文章会继续介绍半朴素贝叶斯分类器和贝叶斯网。
1.半朴素贝叶斯分类器
朴素分类器的一个很大的前提条件是:各属性条件独立。半朴素贝叶斯分类器是对该条件的放宽:考虑到一部分属性间存在相互依赖关系的情况。
1.1独估计依赖(One-Dependent Estimator)
独估计依赖就是指每个属性有
SPODE(Super-Parent ODE)是通过交叉验证等模型选择的方法来选择超父属性,你可以认为它在一个一个属性的尝试作为超父属性,比较它们的效果,来最终选择出合适的一个属性来作为超父属性。
AODE(Averaged One-Dependent Estimator),average顾名思义,要均衡的照顾到各个属性作为超父属性的权利,皇帝轮流做,每个属性都做一次超父属性。
m的默认值为30
TAN(Tree Augmented naive Bayes)
TAN算法是引入了一个叫做条件互信息(conditional mutual information)的东东来表示两两属性之间的依赖程度,其计算公式为:
2.贝叶斯网
贝叶斯网(Bayesian network)是一种有向无环图。用
模型的训练
模型的训练其实是根据训练样本集
G 的确定Θ 的确定
贝叶斯网络–结构的确定
虽然为NP难问题,我们可以找到近似解也是好的,一种是贪心法,另外一种是对贝叶斯网络的形状加以限定(如必须为树形)。
贝叶斯网络参数的确定
参数可以通过事件在训练数据上出现的频率来获得
推断
贝叶斯网络确定之后就相当于分类模型确定了下来,接下来就是用这个模型去做预测或者说是推断。
感觉机器学习里面没有什么问题不是NP难得,没错,推断又被人证明了为NP难问题。近似推断的方法有吉布斯采样和变分推断。这里详细介绍利用吉布斯采样来做推断的方法。为便于理解,我们以具体的例子来说明
贝叶斯网络构建如上图所示,我们已知证据
我们先构建一个样本(
然后构建马尔科夫链,首先求P(
这为第一次确定
- 贝叶斯分类器(二)
- 贝叶斯分类(二)
- 贝叶斯分类器(二):贝叶斯网与EM算法
- 贝叶斯分类器,最小二乘
- SVM学习(二):线性分类器
- Adaboost+Haar分类器(二)
- SVM分类器-LS-SVM(二)
- 感知器算法(二分类问题)
- SVM学习(二):线性分类器
- 4.线性分类器(二)
- SVM学习(二):线性分类器
- 模式识别(二)线性分类器
- 分类器学习(二)
- 模式识别分类器学习(二)
- 强大POJ分类(二)
- POJ 题目分类(二)
- 数据挖掘(二)分类
- Keras classifier分类(二)
- NOIP提高组【JZOJ4817】square
- kubernetes1.4新特性:支持两种新的卷插件
- 常用的100linux命令
- Python中numpy的基本统计学
- sqoop 常用命令整理
- 贝叶斯分类器(二)
- 页面修改保存到数据库中乱码
- php处理数组的函数
- windows进程间通信
- 线段树(自看)
- 找回firefox失踪的收藏按钮
- Android demo 防误删cpp---cppic.cpp
- 算法的时间复杂度和空间复杂度-总结
- 每天一个算法