贝叶斯（二）

贝叶斯决策：即通过概率大小进行的决策。
期望损失=风险
损失函数：

条件风险：

现在将问题转换成最小化条件风险，即贝叶斯最优分类器。

所以，最终贝叶斯的原理，最小化分类错误率的贝叶斯最优分类器为：

在实际任务中，后验概率p(c|x)很难得到，可以通过联合概率分布p(x,c)建模，然后通过贝叶斯定理获得后验概率，这种方式得到的模型叫“生成式模型”。
贝叶斯定理：

所以，在贝叶斯中，学习意味着估计先验概率p(c),与条件概率p(x|c)。
朴素贝叶斯算法：
（1）计算先验概率和条件概率。
（2）对于给定实例X={x1,x2….xn},(xn为实例第n个特征)，计算属于每个类别的概率。
（3）根据概率最大原则，确定实例属于的类别。