Naive Bayes

参考文档及代码

scikit-learn:Naive Bayes

scikit-learn:naive_bayes.py

Naive Bayes 思想

贝叶斯分类方法是一系列有监督学习方法，其应用贝叶斯理论，并使用“各特征对之间相互独立”的假设(Naive assumption)。

给定类别y和一个相互依赖的特征向量x1,⋯,xn , 贝叶斯理论描述了如下理论：

p(y|x1,⋯,xn)=p(x1⋯xn|y)p(y)p(x1,⋯,xn)

使用朴素的独立性假设，有 p(xi|y,x1,⋯,xi−1)=p(xi|y)

由此得到

p(y|x1,⋯,xn)=Πni=1p(xi|y)⋅p(y)p(x1,⋯,xn)

对于分类而言，p(x_1,⋯,x_n)是定值，因而有

p(y|x1,⋯,xn)∝Πni=1p(xi|y)⋅p(y)

有

y^=argmaxyΠni=1p(x_i|y)⋅p(y)

最后，不同的Naive Bayes ， 其对p(y|x)的计算不同。