MLE、ERM和MAP、SRM

来源:互联网 发布:c语言的延时函数 编辑:程序博客网 时间:2024/06/07 16:09

MLE极大似然函数与ERM经验风险
当模型是条件概率,loss function是对数函数的时候,经验风险最小化与极大似然 等价
这里写图片描述
MAP极大后验概率与SRM结构风险
当模型是条件概率,loss function是对数函数,模型复杂度是通过条件概率表示(用先验概率表示后验概率),SRM最小化与MAP等价
这里写图片描述
在将上式对数转化,并将极大似然带入得:
这里写图片描述
注:上边是MAP最大后验概率估计,下边是结构风险最小化
说白了,其实map是mle+正则化
阅读了http://blog.csdn.net/peihaozhu/article/details/64126153博客后,仅作为自己的总结

原创粉丝点击