Foundation of Machine Learning 笔记第五部分 (1) —— Rademacher Complexity 和 VC 维
来源:互联网 发布:java调用wsdl接口 cxf 编辑:程序博客网 时间:2024/06/03 21:32
前言
注意事项:
- 这个系列的文章虽然题为书本《Foundation of Machine Learning》的读书笔记,但实际我是直接对书本的部分内容进行了个人翻译,如果这个行为有不妥当的地方,敬请告知。
- 由于知识面限制,部分名词的翻译可能存在错误,部分难以翻译的名词保留英文原词。为了防止误导大家,在这里声明本文仅供参考。
- 本文基本翻译自《Foundation of Machine Learning》的3.1节。
正文
机器学习中所用到的假设集一般是无穷大的。但是上一章中的样本复杂度上限并不能应付假设集无穷大的情况 (假设集无穷大会导致其不等式右侧也变得无穷大)。当假设集无限大时,我们甚至于无法不知道是否存在能够从有限的样本中高效地学习出目标假设的算法。这一章将引出无穷大假设集下通用的样本复杂度上限。
为了引出这样一个样本复杂度上限,一个简单的想法是:把假设集中无穷多的假设分解为有限多类,然后通过上一章的方法求出样本复杂度上限。通过很多种技巧我们可以对假设集进行分解,而每个技巧对应着不同的描述假设集复杂度的概念。我们将使用的第一个复杂度概念是 Rademacher Complexity。它将帮助我们通过相对简单的证明引出学习保证,证明过程中将会使用 McDiarmid 不等式,这样能得到高质量的上限。但是,对于某些假设集,Rademacher Complexity 的计算复杂度是 NP-难的。因此,我们接下来会引入其他两个纯粹的组合概念:成长函数和 VC 维。我们首先把成长函数和 Rademacher Complexity 联系起来,然后找到成长函数的上限,而这个上限是与 VC 维的值相关的。VC 维往往更加容易去测量,或者可以更加容易地求出其上限。这样,我们就得到了一种基于 VC 维的泛化限制了。最后,我们会根据 VC 维给出假设集一致和不一致两种情况下的学习限制,这将证明 VC 维在学习中的重要地位。
3.1 Rademacher Complexity
我们将继续用
Rademacher Complexity 通过计算假设集拟合随机噪声的能力,量化了一族函数的丰富度。下面是 empirical Rademacher complexity 和 average Rademacher complexity 的定义。
定义3.1 Empirical Rademacher complexity
把
设
定义 3.2 Rademacher complexity
把
在下面的与 Rademacher complexity 相关的一些不等式的证明当中,将会用到一个叫 McDiarmid 不等式的集中不等式 ( Concentration Inequality ),和凸优化中的 Jensen 不等式。书本的附录中提供了这些不等式的证明。
定理 D.3 McDiarmid 不等式
设
证明 暂略,以后补充。
定理 B.4 Jensen 不等式
用
证明 暂略,以后补充。
基于 Rademacher complexity,我们准备要引出第一个泛化上限了。
定理 3.1
把
下面展开证明上述式子。首先是 (3.8),为了书写方便我们把
因为一个确定的函数的上确界是个常数,所以可以认为取上确界是个凸函数,那么不等式 (3.9) 就可以由 Jensen 不等式保证。在等式 (3.11) 中,我们引入了 Rademacher 变量
等式 (3.13) 中
最终,我们使用 union bound 联合不等式 (3.7) 和 (3.14),证得下式至少有
PS
本节内容比较多,我分成两部分写了。下部分将在下一篇博客中写。
- Foundation of Machine Learning 笔记第五部分 (1) —— Rademacher Complexity 和 VC 维
- Foundation of Machine Learning 笔记第五部分 (2) —— Rademacher Complexity 和 VC 维
- Foundation of Machine Learning 笔记第七部分—— VC维
- Foundation of Machine Learning 笔记第一部分——PAC学习框架
- Foundation of Machine Learning 笔记第六部分——成长函数
- Foundation of Machine Learning 笔记第二部分——Guarantees for Finite Hypothesis Sets in Consistent Case
- Foundation of Machine Learning 笔记第三部分——Guarantees for Finite Hypothesis Sets in Inconsistent Case
- Foundation of Machine Learning 笔记第四部分 —— Generalities 以及对不一致假设集的PAC学习证明
- Rademacher complexity
- Machine Learning Foundation Lecture 03 Type Of Learning 学习笔记
- Machine Learning Foundation Lecture 04 Feasuibility of learning 学习笔记
- Machine Learning Foundation Lecture 06 Theory of Generalization学习笔记
- Machine Learning Foundation Lecure 01 The Learning Problem 学习笔记
- Chapter1—Basic of Machine Learning
- (ML foundation 7)VC dimension & Model complexity
- review of machine learning 1
- Coursera—machine learning(Andrew Ng)第五周编程作业
- Machine Learning Foundation Lecuture 05 Training versus Testing 学习笔记
- MySQL创建用户的三种方法
- TCP/IP笔记
- g++基本用法
- Class 的反射
- 《时间戳、日期字符串》
- Foundation of Machine Learning 笔记第五部分 (1) —— Rademacher Complexity 和 VC 维
- 教你一步一步搭建ssm框架
- 设置mysql允许外网访问
- 饿汉版 C++单例模式
- 链接库
- 实时检测图像中的主要边缘 opencv for Android
- 初学spring遇到的400问题
- python实现插入和冒泡排序
- 深入分析java web技术内幕原文(二)