最大似然估计(MLE)

来源:互联网 发布:中文版软件开发 编辑:程序博客网 时间:2024/05/19 21:19
  • 概念

已知实验结果(即样本)的情况下,用来估计满足这些样本的分布参数,把可能性最大的参数θ作为θ的参数估计
一般性定义
对数似然函数

  • 思想

已知某个参数能使这样的样本出现概率最大,我们当然不会选择小概率样本,所以干脆把这个参数作为估计的真实值

  • 理解

Machine Learning 中有很多地方用到Likelyhood of the parameters, 并假设m 训练样本独立分布,则最大似然估计 = 所有样本发生概率的乘积

logistic 回归中:

L(θ)=p(y⃗ |X;θ)=i=0np(y(i)|x(i);θ)

eg1

原创粉丝点击