学习理论-模型选择-1-问题引入
来源:互联网 发布:python range函数用法 编辑:程序博客网 时间:2024/06/05 10:29
问题引入
偏差与方差的权衡是统计学中最核心的问题,在机器学习中,它们是导致欠拟合和过拟合的原因。
对于线性回归问题,我们到底是该选择简单的线性模型
上图我们之前就见到过,最左面的为欠拟合,因为它会有较大的偏差;最右面的为过拟合,它很有可能会过于关注少量样本中的一些比较极端的属性值(噪声),因此测试新样本时将会产生很大的方差。
也就是说,我们不仅要在训练时使得偏差尽可能小,也要保证方差尽可能小,即泛化误差(generalization error)要小。
一般而言,如果模型过于简单,且参数很少时,容易产生大的偏差,但方差会较小;如果模型很复杂,并且参数很多时,容易产生较大的方差,但偏差会较小。
问题描述
下面先给出两个事实(fact):
1、(The union bound)假设
2、(Hoeffding inequality) 假设
注:所谓独立同分布(iid)是指,每个样本相互独立且满足相同的分布模型(比如都满足伯努利分布,或者都满足高斯分布等)。
由2可知,当样本数m越大时,估计值
为了简化问题,我们只考虑2分类情况,对其他问题模型一样适用。
假设训练样本为
它其实反映了训练时的误分率,因为我们是使用的训练样本集
如果此时我们是使用的线性回归来分类,那么参数
我们称之为经验风险最小化( empirical risk minimization (ERM))
事实上,对于一个分类问题,我们有时很难直接确定模型的复杂度,因此我们定义一个模型池
其实就是将经验风险最小化算法应用在模型选择上。
注:在这一篇中用
- 学习理论-模型选择-1-问题引入
- 学习理论-模型选择-3-模型训练规则、特征选择
- 学习理论-模型选择-2-训练样本数量与误差上界
- 机器学习理论与实战(十七)概率图模型05(极家族函数的引入)
- 学习理论、模型选择、特征选择——斯坦福CS229机器学习个人总结(四)
- 计算学习理论PAC模型
- 机器学习理论 || GMM模型
- PRML读书会第一章 Introduction(机器学习基本概念、学习理论、模型选择、维灾等)
- 学习理论之模型选择——Andrew Ng机器学习笔记(八)
- 公开课机器学习笔记(17)学习理论二 VC维、ERM总结、模型选择、特征选择
- 学习理论
- 【深度学习理论3】ALexNet模型的详解
- 解说操作系统:(2)多任务模型引入的问题
- 线性回归-1-问题引入
- 机器学习理论与实战(十三)概率图模型01
- 机器学习理论与实战(十四)概率图模型02
- 机器学习理论与实战(十五)概率图模型03
- 机器学习理论与实战(十六)概率图模型04
- Centos下zookeeper安装配置
- 今天开始把一些心得记录下来!
- return和break的区别(附带源代码)
- [LightOJ 1269] Consecutive_Sum (Trie树妙用)
- Java 获取指定时间的前一天Date
- 学习理论-模型选择-1-问题引入
- bzoj 2429(最小瓶颈生成树)
- 直接插入排序
- 理解 Keystone 核心概念 - 每天5分钟玩转 OpenStack(18)
- 续前篇-关于逆波兰表达式的计算
- (大一下)第一章-数组
- 一
- JM的run level编码学习笔记
- 单例在Swift中的正确实现方式