《统计学习方法》笔记（五）--朴素贝叶斯

定性:生成式模型，用于分类

基于贝叶斯定理和特征条件独立的假设。

目标：是得到特征X=x的条件下Y等于各个yk的概率大小。

思路：由训练集得到先验概率，条件概率；将测试点代入通过贝叶斯公式计算后验概率（计算中用到了条件独立的假设）；极大化这个概率得到合理的预测。

模型：极大化后验概率

策略：用到的是极大似然估计，也就是期望风险最小化中的L取0-1损失函数

算法：极大似然，据说可以用EM算法实现但没找到例子

实现：MATLAB中有个工具箱叫BNT

<p>%调用系统库函数NaiveBayes实现书中例4.1</p><p>s=1;m=2;l=3;training=[1 s;1 m;1 m;1 s;1 s;2 s;2 m;2 m;2 l;2 l;3 l;3 m;3 m;3 l;3 l]class=[-1;-1;1;1;-1;-1;-1;1;1;1;1;1;1;1;-1]test=[2,s]nb = NaiveBayes.fit(training, class)post = posterior(nb,test)</p>