《统计学习方法》笔记——朴素贝叶斯算法

朴素贝叶斯算法概述

朴素贝叶斯（naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

算法流程

1.朴素贝叶斯法是典型的生成学习方法，生成方法由训练数据学习联合概率分布P(X,Y),然后求得后验概率分布P(Y|X)。即，利用训练数据学习P(X|Y)和P(Y)的估计，得到联合概率分布：

P(X,Y)=P(Y)P(X|Y)

概率估计方法可以是极大似然估计或贝叶斯估计。
2.朴素贝叶斯的基本假设是条件独立，

P(X=x|Y=ck)=P(X(1)=x(1),...,X(n)=x(n)|Y=ck)=∏j=1nP(X(j)=x(j)|Y=ck)

这是一个较强的假设。由于这一假设，模型包含的条件概率的数量大为减少，朴素贝叶斯的学习与预测大为简化。因而朴素贝叶斯算法高效且易于实现，其缺点是分类的性能不一定很高。
3.朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测。

P(Y|X)=P(X,Y)P(X)=P(Y)P(X|Y)∑YP(Y)P(X|Y)

将输入x分到后验概率最大的类y。

y=argmaxP(Y=ck)∏j=1nP(Xj=x(j)|Y=ck)

后验概率最大等价于0-1损失函数时的期望风险最小化。

优缺点及适用范围

优点：在数据较小的情况下仍然有效，可以处理多类别问题。
缺点：对于输入数据的准备方式较为敏感。
适用数据类型：标称型数据。