贝叶斯决策定理

• 讨论在不确定情况下决策的概率理论框架。在分类中，贝叶斯规则用来计算类的概率。会讨论推广到怎样做出合理的决策将期望风险最小化。

引言

数据来自一个不完全清楚的过程。将该过程作为随机过程建模表明我们缺乏知识，并用概率理论来分析它（也许该过程确定，只是我们没有获取关于它的完全知识的途径）。
我们不能获取的那些额外的数据称为不可观测的变量（unobservable variable），对应的称为可观测的变量。
在此讨论贝叶斯决策，当然应该先介绍一下朴素贝叶斯法了。

朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。
根据贝叶斯定理计算后验概率：

$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum _{k}P(X=x|Y=c_k)P(Y=c_k)}$$

后验概率最大化：

$$f(x)=\underset{k}{argmax}P(c_k|X=x)$$

定义0-1损失函数(zero-one loss)：

$${\mathit{\lambda }}_{ik}=\{\begin{array}{ll}0& \text{如果 i = k}\\ 1& \text{如果 i }\ne \text{k}\end{array}$$

所有正确的决策没有损失，并且所有错误具有相同的代价。采取工作${\mathit{\alpha }}_i$ 的风险是

$$\begin{array}{rl}R({\mathit{\alpha }}_i|\mathbf{x}\mathbf{)}& =\sum _{k=1}^k({\mathit{\lambda }}_{ik}P(C_k|\mathbf{x}\mathbf{)}\mathbf{)}\\ & =\sum _{k\ne i}P(C_k|\mathbf{x}\mathbf{)}\\ & =1-P(C_i|\mathbf{x}\mathbf{)}\end{array}$$

在一些应用中，错误的决策也许会有很高的代价。一般情况，如果自动系统对它的决策的把握较低，则需要一个更复杂的决策（如人工的）。
一个可能的损失函数如下:

$${\mathit{\lambda }}_{ik}=\{\begin{array}{ll}0& \text{如果 i = k}\\ \mathit{\lambda }& \text{如果 i = K + 1}\\ 1& \text{如果 i }\ne \text{k}\end{array}$$