机器学习_正态分布下的贝叶斯分类器

【1】贝叶斯分类器请看链接。原理就是P(ab)。公式如下：

【2】正态分布下的贝叶斯分类器，由于

1.其似然函数具有特殊形式，指数部分为马氏距离。所以可以ln化。注意ln化的原因：1.e次数一般要ln转化为加法  2.指数为马氏距离

2.最大后验概率是用来比大小的，所以与i无关的项是可以消掉的，考虑化简。这不失于一种加快计算的方法。

【3】几种特殊形式

1.各类别具有相同的斜方差矩阵，且协方差矩阵均为k*单位矩阵。

这种情况下，上式子三项。第二项第三项可以消掉，第一项提项为：

这就是欧式距离

插播一则知识点：如何判断分解面的直曲（一次为直线/平面，二次为曲线/曲面）

首先上式子为二次项，因为方差与i无关，乘法展开可消掉二次项变为一次项

其次判别式变为一次项，求分割面：各类判别函数（一次）列等式得结果仍为一次项。假设X=(x,y,z),带入之后得到关于x，y，z的等式。

2.各类别具有相同的协方差矩阵，也均为对角，但是矩阵内的各方差不相等。

因协方差和先验概率相等，二三项消掉。与前一种分类器的区别是距离被期望和方差所归一化了。

3.相同非对角化的协方差矩阵

留下了第一项，第二项第三项约掉。只留下了马氏距离！

4.不同的协方差矩阵

那就是上面那个式子直接求

【4】下面总结一下：

1.对于一般正态分布的情况，贝叶斯分类器是一个二次分类器。但如果二次项能消掉，就是一次分类器啦

2.对于某些正态分布的情况，可以使用欧式距离或者马氏距离去求

3.当然我们对上述问题进行了许多假设，产生了很多种分类器的情况。但是在很多情况下，给定你数据你是不知道是否满足该假设的，如果你去证明很费时间，所以一般是直接用，解决实际的问题才是王道。