朴素贝叶斯

贝叶斯定理

朴素贝叶斯分类

设样本为x，类别为y
有条件独立性假设：

根据贝叶斯定理，得到类别y的后验概率为：

把条件独立假设带入得到：

贝叶斯分类器可以表示为：

因为在分母中，所有的值是相同的，因此贝叶斯分类器最终表示为：

平滑

为了防止概率出现0的情况，加入平滑。

优缺点

优点：
1.生成式模型，通过计算概率来进行分类，可以用来处理多分类问题，
2.对小规模的数据表现很好，适合多分类任务，适合增量式训练，算法也比较简单。
缺点：
1.对输入数据的表达形式很敏感，
2.由于朴素贝叶斯的“朴素”特点，所以会带来一些准确率上的损失。
3.需要计算先验概率，分类决策存在错误率。

参考：
《统计学习方法》李航