朴素贝叶斯与贝叶斯网络

标签（空格分隔）： 机器学习

---

朴素贝叶斯

朴素贝叶斯朴素在哪里呢？ —— 两个假设
* 一个特征出现的概率与其他特征（条件）独立；
* 每个特征同等重要。

朴素贝叶斯分类器

P(c|x)=P(c)P(x|c)P(x)=P(x)P(x)Πdi=1P(xi|c)
1）计算先验概率及条件概率；
2）对于给定的实例，用贝叶斯公式计算后验概率。
在计算类条件概率时，如果不加平滑因子，则是利用极大似然估计；
如果加上平滑因子，就是拉普拉斯平滑。

一个贝叶斯决策的例子

现在有两个袋子，袋子X中装有2颗红球和2颗黑球，还有1美元；袋子Y中装有1颗红球和2颗黑球。在选择袋子之前，可以从任意一个袋子中选择一个小球，如果摸出来的是红球，应该选哪个袋子？如果摸出来的是黑球。又应该选择哪个袋子？

• 用R表示红球，用B表示黑球。
• 选择每个袋子的概率：P(X)=12,P(Y)=12;
• 选择了袋子X的条件下摸到红球的概率：P(R|X)=12,摸到黑球的概率：P(B|X)=12;
• 选择了袋子Y的条件下摸到红球的概率：P(R|Y)=13,摸到黑球的概率：P(B|Y)=23;
• 由全概率公式：摸到红球的概率P(R)=P(R|X)P(X)+P(R|Y)P(Y)=512; 摸到黑球的概率为P(B)=P(B|X)P(X)+P(B|Y)P(Y)=712;
• 由贝叶斯公式：
  
  • 摸到红球时，是袋子X的概率为：P(X|R)=P(R|X)P(X)P(R)=35;
  • 摸到红球时，是袋子Y的概率为：P(Y|R)=P(R|Y)P(Y)P(R)=25;
  • 摸到黑球时，是袋子X的概率为：P(X|B)=P(B|X)P(X)P(B)=37;
  • 摸到黑球时，是袋子Y的概率为：P(Y|B)=P(B|Y)P(Y)P(B)=47.
• 所以摸到的球是红色时，选择这个袋子；摸到的球是黑色时，选择另外一个袋子。

图模型

根据是否是有向图，可以分为有向图模型和无向图模型。
有向图模型（又称为贝叶斯网络）：包含隐马尔科夫模型，马尔科夫随机过程；
无向图模型（又称为马尔科夫网络）：条件随机场等

贝叶斯网络

朴素贝叶斯可以看做是贝叶斯网络的特殊情况：即该网络中无边，各个节点都是独立的。
那么，当朴素贝叶斯中的强假设：独立同分布不成立时，应该如何解决呢？可以使用贝叶斯网络。
贝叶斯网络借助有向无环图来刻画属性之间的依赖关系，并使用条件概率表来描述属性的联合概率分布。
贝叶斯网络的学习主要包括3部分：贝叶斯网络B由结构G和参数θ构成，即B=<G,θ>

• 结构，即创建贝叶斯模型；建模型通过领域知识和数据本身得出。
• 学习，即估计模型中的参数；
• 推断，即作出最后的决策。