机器学习笔记（五）续——朴素贝叶斯算法的后验概率最大化含义

　　上一节中讲了朴素贝叶斯算法将实例分到后验概率最大的类。这等价于期望风险最小化。

假设使用0-1损失函数：

L(Y,f(X))={1,0,Y≠f(X)Y=f(X)

上式中的f(x)是分类决策函数， 这时，期望风险函数是：

Rexp(f)=E[L(Y,f(X))]

此期望是对联合分布P(X,Y) 取的。由此取条件期望

Rexp(f)=EX∑k=1K[L(ck,f(X))]P(ck|X)

为了使期望风险最小化，只需对X=x逐个极小化：

f(x)=argminy∈Y∑k=1KL(ck,y)P(ck|X=x)=argminy∈Y∑k=1KP(ck≠Y|X=x)=argminy∈Y∑k=1K(1−P(ck≠Y|X=x))=argmaxy∈Y∑k=1KP(ck=Y|X=x)

通过以上推导，根据期望风险最小化得到了后验概率最大化：

f(x)=argmaxckP(ck|X=x)

这就是朴素贝叶斯算法所使用的原理。