ML的45问(4)——评估假设、贝叶斯与PAC可学习
来源:互联网 发布:linux 跨机器拷贝文件 编辑:程序博客网 时间:2024/06/10 21:58
1. 评估假设的意义
评估假设的3个意义:
- 确定哪个假设更具有普适性。
- 当前样本训练出的数据错误率的可信度是多少。
- 如何利用有限的数据,获得更好的假设。
2. 置信区间的计算
前提:
- n>30
- 如果没有其他信息提供,则真实错误率
errorD(h) 与样本错误率errors(h) 是一致的。
计算示例,一般多用在计算最少赢手机的样例数是多少的题目。例如下题:
要测试一假设h,其
解:查表可知,置信度为95%,则Z为1.96,因此应当满足下式:
然后解得
其实这里用
3. 贝叶斯学习方法的特性
- 观察到的每个训练样例可以增量的降低或升高某假设的估计概率。而其他算法遇到不一致时,会完全去掉该假设。
- 先验知识可以与观察数据一起决定假设的最终概率。
- 贝叶斯方法可允许假设做出不确定性预测。
- 新的实力分类可由多个假设一起作出预测,用他们的概率来加权。
4. 最大后验假设与一致学习器的关系
一致学习器指的是它输出的假设在训练样例上有0错误率。
若有均匀的先验概率且无噪声。那么每一个输出假设都是最大后验假设。
5. 最大后验假设与最小误差平方和一致的条件
6. 最大后验假设与最小描述长度编码的等价关系
若CH=C_1,C(D|h)=C_2,则
7. 朴素贝叶斯分类器过程
- 首先找出类别概率P(yes)、P(no),是多少就是多少,不用m估计。
- 再计算测试样例中,每个属性值的条件概率:
p(yes|h)=p(yes)×p(特征1|yes)×p(特征2|yes)×p(特征n|yes) p(no|h)=p(no)×p(特征1|no)×p(特征2|no)×p(特征n|no) - 最后进行归一化
8. 打散的概念
对于一个给定集合
也就是说,假设空间H是S的所有标记总和。
9. VC维
指能够被H打散的最大集合的大小,线性面里N维的VC维是N+1。
10. PAC学习定义
能够从合理数量的训练数据中,通过合理的计算量可靠的学习到知识。
要求:
1) 不要求零错误率,错误率可以在某个非常小的常数范围内。
2)不要求对所有数据都能成功预测,失败概率也可以在某个非常小的常数范围内。
阅读全文
0 0
- ML的45问(4)——评估假设、贝叶斯与PAC可学习
- ML的45问(1)——概念学习、归纳偏置与候选消除法
- ML的45问(3)——神经网络与感知器法则、反向传播算法
- Foundation of Machine Learning 笔记第四部分 —— Generalities 以及对不一致假设集的PAC学习证明
- 机器学习---假设的评估问题
- ML的45问(2)——ID3算法详解
- 斯坦福大学机器学习笔记——当训练模型性能不好时的措施(假设评估、模型选择和交叉验证集、正则化、学习曲线)
- 评估假设
- 【ML学习笔记】8:PAC可能近似正确
- ML 04、模型评估与模型选择
- 模型评估与选择-ML读书笔记01
- ML之模型评估与选择简介
- 机器学习—模型评估与选择
- iOS与ML的联姻 深度学习
- Boosting学习(一)——PAC学习模型到Boosting
- 训练数据的充分性(1):PAC学习保证
- ML—朴素贝叶斯
- 斯坦福ML公开课笔记11——贝叶斯正则化、在线学习、ML应用建议
- C语言指针导学(1)——指针到底是什么
- 2.4 文件类型+2.5 alias
- springmvc源码2 这篇写的有问题 会重新写
- 【6月】闲聊
- 死锁
- ML的45问(4)——评估假设、贝叶斯与PAC可学习
- RMQ求区间最值
- Java集合list删除重复元素问题
- [中国剩余定理]Hdu 1573——X问题
- gitlab使用
- C++ 模板的编译与链接
- React-----form(表单)
- 服务器(5)--搭建Solr集群+搭建Zookeeper集群(下篇)
- 排序算法之--选择排序