机器学习算法（八）贝叶斯算法族、朴素贝叶斯

一、贝叶斯网络

本文介绍贝叶斯网络。贝叶斯网络与前面的大多数算法有一些区别，它归属与贝叶斯学派，属于判别式模型。前面介绍大多数算法归属于频率学派，属于生成式模型。

贝叶斯网络可以看成是一个DAG(有向无环图)模型

贝叶斯网络的三个知识点
1、网络如图所示：

A←C→B

则在C给定的条件下，A与B独立。

2、网络如图所示：

A→C→B

C给定的条件下，A与B独立

3、网络如图所示：

A→C←B

C未知的条件下，A与B独立

二、朴素贝叶斯

前提：假设各特征相互独立（条件独立），且重要性相同

一个样本点属于某一类的概率是

P(y|x1,...,xn)=P(y)P(x1,...,xn|y)P(x1,...,xn)=P(y)∏ni=1P(xi|y)P(x1,...,xn)

在朴素贝叶斯中，判别一个样本点属于那个类别的公式为

y=argmaxyP(y)∏i=1nP(xi|y)

其中，这个P(xi|y)当是离散时是多项式分布，是连续时是高斯分布。