名词解析之泛化误差
来源:互联网 发布:网络重置命令 编辑:程序博客网 时间:2024/06/04 19:24
摘要:以前在机器学习中一直使用经验风险来逼近真实风险,但是事实上大多数情况经验风险并不能够准确逼近真实风险。后来业界就提出了泛化误差的概念(generalization error),在机器学习中泛化误差是用来衡量一个学习机器推广未知数据的能力,即根据从样本数据中学习到的规则能够应用到新数据的能力。常用的计算方法是:用在训练集上的误差平均值-在测试集上的误差平均值。
一:经验风险
机器学习本质上是一种对问题真实模型的逼近,这种近似模型也叫做一个假设。因为真实模型肯定是无法得到的,那我们的假设肯定与真实情况之间存在误差,这种误差或者误差的积累也叫做风险。
在我们选择了一个假设(或者获得一个分类器)后,为了得到真实误差的逼近,我们用分类器在样本数据上的分类结果与样本本身真实结果之间的差值来表示。这个差值叫做经验风险。
以前机器学习中经常通过经验风险的最小化作为目标,但是后来发现很多分类函数在样本集合上能够很轻易的获得100%的正确率,但是在对真实数据的分类却很糟。也表明了这种分类函数推广能力(泛化能力)差。导致这种现象的原因是:经验风险并不能够真正的逼近真实风险,因为样本集合的数目相对于真实世界要分类的数据来说就是九牛一毛。
之后统计学中就引入了泛化误差界的概念。
二:泛化误差界
泛化误差界刻画了学习算法的经验风险与期望风险之间偏差和收敛速度.
真实的风险应该由两部分组成:
1:经验风险,代表分类器在给定样本上的误差(可以精确计算)。
2:置信风险,代表我们可以在多大程度上信任分类器在未知数据上的分类结果(不可以精确计算),因为不可以精确计算,所以只能给出一个估计区间,也因为这个泛化误差只能给出一个上界。 与置信风险相关的变量有两个:
a)样本数量,样本数量越大表明我们的学习结果正确的可能性越大,此时置信风险越小。
b)VC维,分类函数的VC维越大,推广能力越差,置信风险越大。
真实风险 ≤ 经验风险 + 置信风险。
现在统计学习的目标就从经验风险最小化变为经验风险与置信风险之和最小化。
- 名词解析之泛化误差
- 经验误差,泛化误差
- 名词解析之HDR
- 对模型方差和偏差的解释之二:泛化误差
- 泛化误差,交叉验证和特征选择
- 泛化误差,交叉验证和特征选择
- 谈谈对泛化误差的理解
- 名词解析
- 名词解析
- 名词解析
- 名词解析
- 名词解析
- 方差、偏差、噪声、泛化误差之间的关系
- 2、应用设置之属性、名词等解析
- 经验误差与泛化误差、偏差与方差、欠拟合与过拟合、交叉验证
- 保险名词解析
- SAP 名词解析
- VC++部分名词解析
- GitHub秘籍
- java性能优化的地方
- UIApplication
- java读取配置文件中的每一行并遍历
- 横竖屏切换时候Activity的生命周期
- 名词解析之泛化误差
- 11.线性表之单链表的基本操作
- nginx配置详解
- OpenLdapd的安装配置
- Virtualbox WDDM之DxgkDdiSetPointerPosition
- android调用系统照相机保存照片以及压缩上传下载
- 【Mockplus教程】添加
- 静态库和动态库的生成实例
- Linux基本命令