台湾大学林轩田机器学习基石课程学习笔记6 -- Theory of Generalization
来源:互联网 发布:苦瓜知乎道理 编辑:程序博客网 时间:2024/06/05 10:49
上一节课,我们主要探讨了当M的数值大小对机器学习的影响。如果M很大,那么就不能保证机器学习有很好的泛化能力,所以问题转换为验证M有限,即最好是按照多项式成长。然后通过引入了成长函数
一、Restriction of Break Point
我们先回顾一下上节课的内容,四种成长函数与break point的关系:
下面引入一个例子,如果k=2,那么当N取不同值的时候,计算其成长函数
所以,我们发现当N>k时,break point限制了
抽样数据集N
break point k(这个变量确定了假设的类型)
那么,如果给定N和k,能够证明其
二、Bounding Function: Basic Cases
现在,我们引入一个新的函数:bounding function,B(N,k)。Bound Function指的是当break point为k的时候,成长函数
这里值得一提的是,B(N,k)的引入不考虑是1D postive intrervals问题还是2D perceptrons问题,而只关心成长函数的上界是多少,从而简化了问题的复杂度。
求解B(N,k)的过程十分巧妙:
当k=1时,B(N,1)恒为1。
当N < k时,根据break point的定义,很容易得到
B(N,k)=2N 。当N = k时,此时N是第一次出现不能被shatter的值,所以最多只能有
2N−1 个dichotomies,则B(N,k)=2N−1 。
到此,bounding function的表格已经填了一半了,对于最常见的N>k的情况比较复杂,推导过程下一小节再详细介绍。
三、Bounding Function: Inductive Cases
N > k的情况较为复杂,下面给出推导过程:
以B(4,3)为例,首先想着能否构建B(4,3)与B(3,x)之间的关系。
首先,把B(4,3)所有情况写下来,共有11组。也就是说再加一种dichotomy,任意三点都能被shattered,11是极限。
对这11种dichotomy分组,目前分成两组,分别是orange和purple,orange的特点是,x1,x2和x3是一致的,x4不同并成对,例如1和5,2和8等,purple则是单一的,x1,x2,x3都不同,如6,7,9三组。
将Orange去掉x4后去重得到4个不同的vector并成为
另一方面,由于
由此得出B(4,3)与B(3,x)的关系为:
最后,推导出一般公式为:
根据推导公式,下表给出B(N,K)值
根据递推公式,推导出B(N,K)满足下列不等式:
上述不等式的右边是最高阶为k-1的N多项式,也就是说成长函数
得到了
我们得到的结论是,对于2D perceptrons,break point为k=4,
四、A Pictorial Proof
我们已经知道了成长函数的上界是poly(N)的,下一步,如果能将
实际上并不是简单的替换就可以了,正确的表达式为:
该推导的证明比较复杂,我们可以简单概括为三个步骤来证明:
这部分内容,我也只能听个大概内容,对具体的证明过程有兴趣的童鞋可以自行研究一下,研究的结果记得告诉一下我哦。
最终,我们通过引入成长函数
对于2D perceptrons,它的break point是4,那么成长函数
五、总结
本节课我们主要介绍了只要存在break point,那么其成长函数
注明:
文章中所有的图片均来自台湾大学林轩田《机器学习基石》课程。
- 台湾大学林轩田机器学习基石课程学习笔记6 -- Theory of Generalization
- 台湾大学林轩田机器学习基石课程学习笔记14 -- Regularization
- 台湾大学林轩田机器学习基石课程学习笔记15 -- Validation
- 台湾大学林轩田机器学习基石课程学习笔记
- 台湾大学林轩田机器学习基石课程学习笔记3 -- Types of Learning
- 台湾大学林轩田机器学习基石课程学习笔记4 -- Feasibility of Learning
- 台湾大学林轩田机器学习基石课程学习笔记13 -- Hazard of Overfitting
- 机器学习基石第六讲:theory of generalization
- 公开课 | 机器学习基石06 Theory of Generalization
- 林轩田之机器学习课程笔记(why can machines learn之theory of generalization)(32之6)
- 机器学习基石之Theory of Generalization的个人理解笔记
- Coursera台大机器学习课程笔记5 -- Theory of Generalization
- Coursera台大机器学习课程笔记5 -- Theory of Generalization
- 台湾大学林轩田机器学习基石课程学习笔记2 -- Learning to Answer Yes/No
- 台湾大学林轩田机器学习基石课程学习笔记5 -- Training versus Testing
- 台湾大学林轩田机器学习基石课程学习笔记7 -- The VC Dimension
- 台湾大学林轩田机器学习基石课程学习笔记8 -- Noise and Error
- 台湾大学林轩田机器学习基石课程学习笔记9 -- Linear Regression
- jQuery表单校验
- 明明的随机数
- 获取天气(WebXml)
- python异常处理
- H5与native有啥区别?
- 台湾大学林轩田机器学习基石课程学习笔记6 -- Theory of Generalization
- [Android]查看KeyStore的MD5或SHA1签名
- MySQL 数据库的安装及配置
- bzoj 1083: [SCOI2005]繁忙的都市 (最小生成树)
- 项目之底部导航栏
- Java并发读书笔记(二)
- Ogre2.1 分析笔记(一)
- 解决PySide+Python子线程更新UI线程
- PopupWindow