极大似然估计法推出朴素贝叶斯法中的先验概率估计公式

来源：互联网发布：qq音乐网站源码编辑：程序博客网时间：2024/06/05 00:49

令参数 $P(Y=c_k)=\theta_k$ ，其中 $k\in \left\{ 1,2..K \right\}$ 。

那么随机变量Y的概率可以用参数来表示为一个紧凑的形式 $P(Y)=\sum_{k=1}^{K}{\theta_k} I(Y=c_k)$ ，I是指示函数 $Y=c_k$ 成立时，I=1；否则I=0。

极大似然函数 $L(\theta_k;y_1,y_2..y_N)=\prod_{i=1}^{N}P(y_i) =\prod_{k=1}^{K}\theta_k^{N_k}$ ，其中N为样本总数， $N_k$ 为样本中 $Y=c_k$ 的样本数目，取对数得到 $l(\theta_k)=ln(L(\theta))=\sum_{k=1}^{K}{N_k ln\theta_k}$ ，

要求该函数的最大值，注意到约束条件 $\sum_{k=1}^{K}{\theta_k} =1$ 可以用拉格朗日乘子法，即 $l(\theta_k,\lambda)=\sum_{k=1}^{K}{N_k ln\theta_k} +\lambda(\sum_{k=1}^{K}{\theta_k} -1)$ ，求导就可以得到： $\frac{N_k}{\theta_k}+\lambda=0$ 联立所有的k以及约束条件得到 $\theta_k=\frac{N_k}{N}$ ，完毕

作者：Fisher
链接：https://www.zhihu.com/question/33959624/answer/93958363
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

阅读全文

0 0