Foundation of Machine Learning 笔记第四部分 —— Generalities 以及对不一致假设集的PAC学习证明
来源:互联网 发布:程序员新西兰离岸offer 编辑:程序博客网 时间:2024/06/05 11:24
前言
注意事项:
- 这个系列的文章虽然题为书本《Foundation of Machine Learning》的读书笔记,但实际我是直接对书本的部分内容进行了个人翻译,如果这个行为有不妥当的地方,敬请告知。
- 由于知识面限制,部分名词的翻译可能存在错误,部分难以翻译的名词保留英文原词。为了防止误导大家,在这里声明本文仅供参考。
- 本文基本翻译自《Foundation of Machine Learning》的2.4节。
正文
在这一部分中,我们将讨论几个与学习相关的重要问题,在前些章节中我们为了便于理解而忽略了。
2.4.1 确定性与随机性
在监督学习的大多数情况下,分布
在这种场景下,PAC 学习框架自然地拓展出一个新的概念:不可知的 PAC 学习 ( agnostic PAC-learning )。
定义 2.4 不可知 PAC 学习
设
当一个点上的标签能够被一个可观测函数
在前面几个部分中,为了简便我们都只讨论了确定性场景下的学习问题。但是从这些确定性场景拓展到随机场景的方法还是比较直白的(我的理解:随机性场景和前面假设集不一致的情况是不一样的)。
2.4.2 贝叶斯错误率和噪声
在确定性场景的情况下,存在一个没有泛化误差的目标函数
定义 2.5 贝叶斯错误率
给定一个在空间
通过定义可以知道,在确定性场景的情况下,我们有
定义 2.6 噪声
给定一个在空间
因此,平均噪声就是前述的贝叶斯错误率:
2.4.3 估计误差和近似误差
假设集
例如,用
2.4.4 模型选择
基于前几节的理论结果,在这里我们讨论一些模型选择方法和算法思想。我们假设大小为
虽然定理 2.2 给出的保证只对有限的假设集成立,它已经为我们提供了一些在算法设计上的指导,我们将在下一章中提出,类似的保证在假设集无限的情况下同样存在。这样的结果促使我们对经验误差和复杂度项进行思考,在这里复杂度项是一个关于
从这一点出发,一个只寻求取最小化训练集上的误差的算法,ERM算法
另一种被称为结构风险最小化 ( structural risk minimization, SRM ) 方法从一个有着逐渐增大的样本量的无穷的假设集序列
图为结构风险最小化示意图。三种误差被画成了假设集大小的函数。显然,随着假设集大小的上升,训练误差下降,同时复杂度上升。SRM 通过最小化训练误差和复杂度之和,选择使得泛化误差的上限最低的那个假设。
虽然 SRM 从较强的理论保证中受到益处,它的计算往往十分复杂,因为它需要取解多个 ERM 问题的解。注意 ERM 问题的个数不是无限的,因为随着
还有另一种基于更加直白的优化策略的算法,这种方法的优化目标函数为经验误差和正则项的和,这个正则项对复杂的假设进行了惩罚。当
我的补充
在《Foundation of Machine Learning》的这一节中,作者给出了一个新的定义——不可知 PAC 学习,并且分析了一种更加难的学习问题——随机场景下的学习问题——的误差构成,最后从 PAC 理论作为指导讲述了经验风险最小化和结构风险最小化两种学习模型的原理。
我在阅读书本到这部分的时候,对一些概念的关系的理解比较混乱,于是还查阅了一些其他资料。下面的把查阅到的资料整合起来,企图把这里的体系补充得更加完整。
上文说到随机场景的学习问题这个概念,我们可以把随机场景这类问题纳入到不一致的学习问题当中。把不一致的假设集总结为以下三种:
- 目标 concept
c∉H ; c∈H , 但是要从H 中找出c 是一个难以计算的问题;c 不存在。(也就是上文所说的随机情况。我们总是假设存在一个目标 concept 把样本投影到标签中去,但现实中并不总是这样。例如天气预报就没有一个确定的结果,而是给出出现各种天气的概率。我们认为这些问题都是固有随机性的,或者说,这些问题太过复杂以至于以我们现有的知识不能够为它们建立模型。)
显然,上一节的不一致假设学习问题属于第 1 种,这一节引入的随机场景属于第 3 种。
如上文所说的一样,为了研究随机场景下的学习问题,我们引入一种新的形式化方法。我们统一把分布
要注意的是,上面的式子同样可以用到确定的情况下,只是
由于上一节的定理 2.2 只用到了 Hoeffding 不等式和 Union Bound 进行证明,而改变分布
定理
对于一个有限不一致的假设集
证明 因为定理 2.2 成立,由定理 2.2 的推导过程可得对于任意
参考
- jeremykun 的博客 Occam’s Razor and PAC-learning
- Princeton Computer Science 511
Theoretical Machine Learning 的 scribe note 0225
- Foundation of Machine Learning 笔记第四部分 —— Generalities 以及对不一致假设集的PAC学习证明
- Foundation of Machine Learning 笔记第一部分——PAC学习框架
- Foundation of Machine Learning 笔记第五部分 (1) —— Rademacher Complexity 和 VC 维
- Foundation of Machine Learning 笔记第五部分 (2) —— Rademacher Complexity 和 VC 维
- Foundation of Machine Learning 笔记第六部分——成长函数
- Foundation of Machine Learning 笔记第七部分—— VC维
- Machine Learning Foundation Lecture 03 Type Of Learning 学习笔记
- Machine Learning Foundation Lecture 04 Feasuibility of learning 学习笔记
- Foundation of Machine Learning 笔记第二部分——Guarantees for Finite Hypothesis Sets in Consistent Case
- Foundation of Machine Learning 笔记第三部分——Guarantees for Finite Hypothesis Sets in Inconsistent Case
- Machine Learning Foundation Lecture 06 Theory of Generalization学习笔记
- Machine Learning Foundation Lecure 01 The Learning Problem 学习笔记
- ML的45问(4)——评估假设、贝叶斯与PAC可学习
- 学习machine learning foundation 感想
- Machine Learning Foundation Lecuture 05 Training versus Testing 学习笔记
- 机器学习演算法 第四讲 Feasibility of Learning——学习笔记k
- Machine Learning Foundation Lecture 02 Learning to Answer YesNo 学习笔记
- Machine Learning 学习笔记
- 自定义webview
- SpringMVC当类与方法的RequestMapping皆为空时报错问题
- SCOPE_IDENTITY的用法
- C语言--内存管理
- Android Studio 2.2.x NDK 安装
- Foundation of Machine Learning 笔记第四部分 —— Generalities 以及对不一致假设集的PAC学习证明
- 搭建react_native环境的坑
- 程序员转行为什么这么难
- 解决RecyclerView删除Item导致位置错乱的问题 以及删除最后一个出错的问题
- 在php中定义常量时,const与define的区别
- rhel7使用rpm包安装zabbix
- iOS开发layoutSubviews的作用及调用机制
- 理解Python的With语句
- tomcat安装与配置