学习理论之经验风险最小化——Andrew Ng机器学习笔记(七)
来源:互联网 发布:pkpm建筑设计软件 编辑:程序博客网 时间:2024/06/05 09:20
内容提要
到现在监督式学习已经基本上学完了,这篇博客主要想写的是一些关于机器学习的理论,即什么时候用什么学习算法,什么样的学习算法有什么样的特点或者优点。在拟合的时候应该怎么选取拟合模型实际上是在欠拟合和过拟合之间做着权衡,我们训练集大小为多大时合适,最终得到的拟合函数效果怎么样,它的效果如何评价等等,下面我们主要介绍的经验风险最小理论,就是来回答这些问题。
经验风险最小
为了说明经验风险最小,我们首先介绍两个定理:
- (The union bound)假设
A1,A2...Ak 是k 个不同的事件,那么P(A1∪A2∪...∪Ak)≤P(A1)+P(A2)+...+P(Ak) 。你可以画一个文氏图去理解他。- (Hoeffding inequality)假设
Z1,Z2...Zm 是m 个独立同分布(iid)服从伯努利分布的变量,参数为ϕ 。即p(Zi=1)=ϕ,p(Zi=0)=1−ϕ ,令ϕ^=(1/m)∑mi=1Zi ,ϕ^ 也是随机变量,对于任意的γ>0 ,则有P(|ϕ−ϕ^|>γ)≤2exp(−2γ2m)
Hoeffding inequality说明了伯努利分布参数的估计值与真值之间的误差是有上限的,并且可以看出随着
我们还是利用二维分类问题来说明这个理论,
其实这个式子描述就是分类出错的比例,其中,1{.}指示器函数,即 1{true}=1;1{false}=0,
同样的我们也定义一般误差(generalization error):
这个误差是我们理论上计算出来的误差,一般的在统计中带有“ ^ ”表示的估计量,估计的意思就是我们通过样本来计算这个变量的值。反之,一般理论值就不带“ ^ ”。
我们之前介绍过线性分类函数的一般形式,
称为:假设集合(hypothesis class)。这是一个分类函数集合,因为
我们将这个过程称为:经验风险最小(empirical risk minimization (ERM))。和这个式子同样的道理我们可以得到训练情况下最优的分类函数。
下面我们就依照假设集合
H集合有限的情况
设假设集合中总共有
我们研究的问题
这个式子表明随着训练样本个数
则:
结合union bound进一步我们可以做出如下的推导:
利用基本的概率只是我们又可以得到下面的式子:
从这个式子可以看出理论误差和训练误差是有一个上界的。这一我们在这讨论的一个原因,我们想知道这个上界。除此之外,我们还想知道后面的这个概率是多少。我们前面说了,随着训练集大小
在给定
可以得到,当
可以保证对于任意的
同样的在给定
其中
下来我们在定义:
经过上面的这些证明,我们可以得到这样一个定理:当
推论:
则:
H集合无线的情况
首先我们来介绍分散的概念:给定一个集合
VC维(Vapnik-Chervonenkis dimension):给定一个假设集合H,这个H可以分散集合S的最大个数为VC维,记为
VC(H)=d ,如果H可以将任意的S分散,我们就说这个H的VC为无穷大,记为VC(H)=∞
举一个简单的例子:假如S中有3个点,给定一个线性分类函数的假设集合,
需要说明的是,这是一种存在性的计算。意思就是只要这三个点给定一个排列方式,然后取遍所有标签的情况,我们都可以在这个假设集合H中找到
下面再来看一个定理,这是数学家证明的,过程比较复杂,所以我们只看结论。
给定一个假设集H,并且VC(H) = d,在至少满足
和前面一样我们可以得到下面这个不等式:
从这个式子可以看出来,当VC维是有限的情况下,当m趋于无穷大的时候,训练误差是收敛的。我们也可以得到如下的推论:
对于H中的所有h,
这个式子中的
end
- 学习理论之经验风险最小化——Andrew Ng机器学习笔记(七)
- 学习理论之模型选择——Andrew Ng机器学习笔记(八)
- 【斯坦福《机器学习》笔记】[第9集] 学习理论——经验风险最小化
- 斯坦福大学公开课机器学习课程(Andrew Ng)九经验风险最小化
- 公开课机器学习笔记(16)学习理论一 经验风险最小化ERM
- Andrew Ng 机器学习笔记(七)
- 机器学习—经验风险最小化
- 【斯坦福---机器学习】复习笔记之经验风险最小化
- (斯坦福机器学习笔记)之经验风险最小化
- Andrew NG机器学习课程笔记(七)
- 吴恩达机器学习之经验风险最小化
- 监督学习之生成学习算法——Andrew Ng机器学习笔记(四)
- 监督学习之梯度下降——Andrew Ng机器学习笔记(一)
- 监督学习之Logistic regression——Andrew Ng机器学习笔记(二)
- 监督学习之广义线性模型——Andrew Ng机器学习笔记(三)
- 监督学习之支持向量机——Andrew Ng机器学习笔记(五)
- Coursera 机器学习(by Andrew Ng)课程学习笔记(七)——支持向量机
- Andrew NG机器学习课程笔记系列之——机器学习之逻辑回归(Logistic Regression)
- eclipse版本
- Android中图片剪裁时如何预防oom
- android Button源码分析
- JavaMail邮件传输
- Android ListView嵌套Button,Button事件覆盖item事件解决办法
- 学习理论之经验风险最小化——Andrew Ng机器学习笔记(七)
- 小米抢购限流峰值系统架构历年演进历程
- python代码片段——不断尝试执行cmd
- cout输出字符串地址 http://cache.baiducontent.com/c?m=9f65cb4a8c8507ed4fece7631049c0666e04de3e69c0d0622e95
- Android 对话框(Dialog)【大全】
- android分析windowManager、window、viewGroup之间关系
- 建造者模式
- 从今天开始
- bzoj3669 魔法森林(NOI 2014)