李航《统计学习方法》读书笔记（1）：朴素贝叶斯分类

朴素贝叶斯方法基于两个前提：（1）贝叶斯公式（2）在知道实例类的情况下，特征之间条件独立。

朴素贝叶斯分类的基本步骤：

（1）学习联合分布 

直接学习这个分布是困难的，因为随着特征维度的上升，X的条件分布可能性程指数增长。所以，朴素贝叶斯分类提出了条件独立的假设，使得联合分布大大简化

联合分布的学习可以使用极大似然估计，即训练集中不同情况的频数除以总数计算得到，这里不再赘述。

（2）利用MAP（最大后验概率）准则对新的实例进行分类

分母对于所有的c都是相同的，因此可以省去，故有

Tips:

由于使用最大似然估计计算联合分布可能会出现后验概率为0的情况，所以在计算分布是可以采用贝叶斯估计等方法进行避免。