朴素贝叶斯:分母相对于所有类别为常数

来源:互联网 发布:office软件卸载不了 编辑:程序博客网 时间:2024/04/30 19:28

这句话理解:
由于朴素贝叶斯是一个生成模型,用来做分类器使用。
假设总共的类别是{Ck}类,那么假设一封邮件判断它是不是垃圾邮件,Ck={0,1}
0代表正常邮件,1代表垃圾邮件。
假设一封邮件X={x(1),x(2),x(3)....x(n)}
先验概率:
朴素贝叶斯假设条件独立这样就可以概率相乘:
P(X=x|Y=ck)=nj=1P(X=x(1),X=x(2)...X=x(n)|Y=ck)
=nj=1P(X=x(j)|Y=Ck)

根据贝叶斯公式:
P(B|A)=P(A|B)P(B)P(A)

邮件分类:
这封邮件是ck类的概率
P(Y=Ck|X=x)=P(Y=Ck)P(X=xi|Y=Ck)P(X)=P(Y=Ck)P(X=xi|Y=Ck)kP(Y=Ck)P(X=xi|Y=Ck)
P(X)X
y1是指正常邮件的概率;要y2是指垃圾邮件的概率
y1=P(Y=0)P(X=xi|Y=0)P(Y=0)P(X=xi|Y=0)+P(Y=1)P(X=xi|Y=1)

y1=P(Y=1)P(X=xi|Y=1)P(Y=0)P(X=xi|Y=0)+P(Y=1)P(X=xi|Y=1)
分母是相同的 所以只需要比较分子,哪个大分到哪一类。

P(Y=0)=I(y=0)N 正常邮件占总共邮件N的比值。
P(X=x|Y=0)=nj=1P(X=x(j)|Y=0)=nj=1I(X=x(j),y=0)I(Y=0)
上面这俩式其实式最大似然估计的结果。
所以朴素贝叶斯是MAP和极大似然估计的结合(类别(θ)参数估计是MAP,最大似然估计出p(Y=ck),p(X=xi|Y=ck))。

原创粉丝点击