经验风险最小化和结构风险最小化
来源:互联网 发布:开淘宝上卖花卉好赚吗 编辑:程序博客网 时间:2024/04/29 17:02
在假设空间、损失函数以及训练集确定的情况下,经验风险函数就可以确定。假设给定一个数据集:
模型f(x)关于训练数据集的平均损失成为经验风险或经验损失:
经验风险是模型关于训练样本集的平均损失。
经验风险最小化(empirical risk minimization,ERM)的策略认为,经验风险最小的模型是最优的模型。根据这一策略,按照经验风险最小化求最优模型就是求解最优化问题:
当样本容量足够大时,经验风险最小化能保证有很好的学习效果,在现实中被广泛采用。例如,极大似然估计(MLE)就是经验风险最小化的一个例子。当模型是条件概率分布,损失函数是对数损失函数时,经验风险最小化就等于极大似然估计。
但是,当样本容量很小时,经验风险最小化学习的效果就未必很好,会产生过拟合现象。而结构风险最小化(structural risk minimization, SRM)是为了防止过拟合而提出的策略。结构风险最小化等价于正则化。结构风险在经验风险的基础上加上表示模型复杂度的正则化项。在假设空间、损失函数以及训练集确定的情况下,结构风险的定义是:
其中,J(f)为模型的复杂度,是定义在假设空间上的泛函。模型f越复杂,复杂度J(f)就越大。也就是说,复杂度表示了对复杂模型的惩罚。结构风险小的模型往往对训练数据和未知的测试数据都有较好的预测。比如,贝叶斯估计中的最大后验概率估计(MAP)就是结构风险最小化的例子。当模型是条件概率分布,损失函数是对数损失函数,模型复杂度由模型的先验概率表示时,结构风险最小化就等价于最大后验概率估计。
结构风险最小化的策略认为结构风险最小的模型是最优的模型。所以求解模型,就是求解最优化问题:
参考:统计学习方法 李航
- 经验风险最小化和结构风险最小化
- 经验风险最小化 与 结构风险最小化
- 经验风险最小化 与 结构风险最小化
- 损失函数、风险函数、经验风险最小化、结构风险最小化
- 损失函数-经验风险最小化-结构风险最小化
- 损失函数-经验风险最小化-结构风险最小化
- 经验风险最小化与结构风险最小化笔记
- 正则化(经验风险最小化与结构风险最小化)
- 机器学习中的经验风险,期望风险和结构风险最小化
- 经验风险最小化
- 经验风险最小化
- 经验风险最小化
- 经验风险最小化
- 【九】经验风险最小化
- 经验风险最小化
- 经验风险最小化
- 结构风险最小化
- 结构风险最小化
- sed使用整理
- Android之使用SwipeRefreshLayout实现上拉刷新
- CV_Assert(myImage.depth() == CV_8U); // 仅接受uchar图像
- react-native run-android 找不到模拟器
- MYSQL索引
- 经验风险最小化和结构风险最小化
- 牛客网刷题之孩子们的游戏(圆圈中最后剩下的数)
- dos命令for循环
- Oracle ERP 报表:类数字格式字符串数据的前置0被截取和被科学计数法表示
- Log4J日志配置详解
- 简单了解Mybatis
- Xcode打包ipa的步骤(简述)
- php合成图片
- C++中的继承