朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯原理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特这条件独立假设学习输入输出的联合概率分布了然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都和高，是一种常用的方法。

朴素贝叶斯法的学习和分类：

输入X，输出Y，P(X,Y)是X和Y的联合概率分布，训练数据集：

由P(X,Y)独立分布产生。

朴素贝叶斯法通过训练数据集学习联合概率分布P(X,y)。具体地学习以下先验概率分布及条件概率分布。先验概率分布：

条件概率分布：

于是学习到联合概率分布P(X,Y)

朴素贝叶斯对条件概率分布做了条件独立性的假设，由于这是一个较强的假设，朴素贝叶斯法也由此得名。具体地，条件独立性假设是：

朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。这一假设使得朴素贝叶斯法变得简单，有时会牺牲一定的分类准确率。

其实就是分母一样，只看分子哪个概率大就属于哪一类，也就是X=x,y属于哪一类的概率更大；

而这个又是通过P(x,y)分布求得，分布有可以表示为下面形式，通过训练集搞定。

下面其实就是证明，为何取最大概率就表示是属于这一类，通过经验风险函数最小来说明此问题；

后验概率最大化含义：

学习与分类算法：

贝叶斯估计：