机器学习之传统贝叶斯

贝叶斯定理公式：

（1）

上述公式中：事件B发生的概率为 ，事件A发生条件下事件B发生的概率为 。

朴素贝叶斯法的学习与分类：

       我们假设，输入空间：为n维向量的集合，输出空间为类标记集合

 P(X , Y)为X和Y的联合概率分布。

那么训练数据集为：（2）其由P(X , Y)独立同分布产生；

朴素贝叶斯法就是通过训练数据集学习联合概率分布P(X, Y)。

先验概率分布：（3）

条件概率分布：（4）

由两者得到联合概率分布P(X,Y)；

条件独立性假设：用于分类的特征在类确定的情况下都是条件独立的；

公式定义：（5）

朴素贝叶斯分类时，对于给定的输入x , 通过学习到的模型计算后验概率分布，并将后验概率最大的类作为x的类输出。

后验概率计算根据贝叶斯定理：（6）

将公式（5）代入公式（6）得到：（7）

公式（7）即为朴素贝叶斯分类的基本公式，那么朴素贝叶斯分类器的表达式为：

（8）

并且由于公式（8）中分母对于所有的类皆相同，那么可以简化为：

（9）

公式（9）是最终的朴素贝叶斯分类器的表达式；

那么为什么最终是求概率最大化呢？下面解释一下后验概率最大化的含义。

当Y = f(X): L(Y , f(X) ) = 0;

当 Y 与 f(X)不相等时: L(Y , f(X)) = 1;

其中f(X)是分类函数，那么期望风险函数可以表达为：

为了使期望风险最小，需要逐个将X= x 极小化，得到：

                                                                                 （10）

这样一来，根据期望风险最小化准则就得到了后验概率最大化准则：

（11）

朴素贝叶斯法的参数估计

在朴素贝叶斯法中，学习意味着估计和 。对于这两个，可以应用极大似然估计法估计相应的概率；

先验概率的极大似然估计是：（12）

假设第j个特征的可能取值集合为。

条件概率的极大似然估计为：

                                                 （13）

j = 1,2,...,n;  l = 1,2,...,; k = 1,2,...,K;  I 为指示函数，为第i个样本的第j个特征，是第j个特征可能取的第l个值；

注意：用极大似然估计可能会导致估计的概率值为0，这是会影响到后验概率的计算结果，使分类出现误差，解决的办法是贝叶斯估计，如拉普拉斯平滑(Laplace smoothing)；

贝叶斯估计：

               （14）

当 λ == 1时，就是拉普拉斯平滑；

同样的先验概率的贝叶斯估计是：

                                                        (15)