朴素贝叶斯

朴素贝叶斯是基于贝叶斯定理和特征条件独立假设的一种生成模型，主要思想是通过数据学习其联合概率分布P(X,Y|θ)，具体做法是采用极大似然估计法去估计θ。

优点：在小规模数据上的表现很好，适合多分类任务和增量式学习。

缺点：对输入数据的表达形式很敏感。

下面先看看贝叶斯定理：

那么当特征服从条件独立的假设时，有：

下面看看如何用极大似然估计法对参数进行估计，首先是先验概率：

  

然后是条件概率：

 

之后根据贝叶斯定理计算后验概率：

         

那么问题来了，用极大似然估计可能会出现概率值等于0的情况，会影响后验概率的计算结果，导致分类结果产生偏差，可以采用贝叶斯估计来解决这个问题。

首先看下先验概率的贝叶斯估计：

  

然后是条件概率的贝叶斯估计：

 

需要注意的是，当lambda为1时，表示拉普拉斯平滑。