李航《统计学习方法》第4章习题答案参考
来源:互联网 发布:5x5矩阵的行列式怎么算 编辑:程序博客网 时间:2024/06/05 16:40
第 4 章 朴素贝叶斯法
浅谈极大似然估计与贝叶斯估计
极大似然估计:频率学派,认为参数是确定存在只是未知的,并且觉得出现的状态假设是按概率最大的情况出现的,所以对极大似然函数求极值就可以得到参数
贝叶斯估计 : 贝叶斯学派,认为参数是不确定的,也是一个随机变量,所以给定输入不能得到输出,只能根据先验概率得出输出的期望:
所以呢,想要求后验概率
但是积分看到就烦,而且不好计算,还可能不存在解析解,所以呢,就将就一下,转而求极大后验概率:
乍一看,两类估计非常相似,为什么要提贝叶斯估计呢,是因为有时概率是做分母的,比如NLP中,测试集中包含训练集里没有的词,然后概率就为0了,NB里面,是假设i.i.d的,有一个为0就没得算了,在进行模型评估的时候计算一个pvalue,你也麻烦了。所以呢,一般需要对数据进行平滑化处理,常用的是Laplace换句话说就是add-one smoothing 就是管你什么情况 对于所有的词我都默认出现过一次了.
说起这个,由于出现频次太低,语料库有比较大的时候,可能出现下溢出。就是太太太小了,都约为0 那还比个什么啊,所以这个应对措施是取对数.
4.1 用极大似然估计法推出朴素贝叶斯法中的概率估计公式(4.8)及(4.9).
P.S
证明:(4.8)
记
根据极大似然估计,我们认为
对
求得
(4.9)
同上可得
4.2 用贝叶斯估计法推出朴素贝叶斯法中的概率公式(4.10)及(4.11)
P.S 条件概率的贝叶斯公式:
显然
这表明(4.10)为一个概率分布
先验概率的贝叶斯估计:
证明:(记号同上一题)
同上题求极值得:
同理可证(4.10)式.
- 李航《统计学习方法》第4章习题答案参考
- 统计学习方法 第4章 朴素贝叶斯法 习题答案
- 李航 统计学习方法 第五章 决策树 课后 习题 答案
- 李航 统计学习方法 第一章 课后 习题 答案
- 统计学习方法第十章习题答案
- 《统计学习方法》第4章 课后题答案
- 李航《统计学习方法》第一章复习与习题参考解答
- 统计学习方法 李航 第二章习题
- 《统计学习方法》第7章 课后题答案
- 《统计学习方法》第1章 课后题答案
- 统计学习方法 李航 第一章习题
- 统计学习方法 李航---第1章 统计学习方法概论
- 统计学习方法 李航---第12章 统计学习方法总结
- 统计学习方法 李航---第1章 统计学习方法概论
- 统计学习方法 李航---第4章 朴素贝叶斯法
- 统计学习方法 李航---第5章 决策树
- 统计学习方法 李航---第5章 决策树
- 统计学习方法第4,5章笔记
- main()方法详解
- android三种动画的认识
- ios 状态栏设置
- 自定义View 结合文章及源码的系统学习
- 利用淘宝给定id,php编写抓取淘宝价格或其他信息
- 李航《统计学习方法》第4章习题答案参考
- 日志处理——log4j 宏观学习
- struts2的配置解释以及使用ajax、创建传输json的两种方式
- 实现文本单行显示,超出部分显示省略号(...)
- 2017 Multi-University Training Contest 1 solutions BY BUAA
- 手把手教你做北邮操作系统小学期实验一——Linux启动过程优化3
- Codeforces Round #425 (Div. 2) B. Petya and Exam
- springboot中注解详解
- Nginx平滑升级