正则化(经验风险最小化与结构风险最小化)
来源:互联网 发布:学编程哪个学校好 编辑:程序博客网 时间:2024/05/16 04:38
经验风险最小化,是根据定义的cost函数,来使训练集合的cost(损失)函数的整体最小,一般常见的的损失函数有一下:
当选定了损失函数以后,就可以确定经验风险函数:1/N * L(yi, f(xi)) ( i的范围是1到N的所有训练集做累加);
所谓经验风险最小化就是确定模型的参数使得经验风险函数最小。
但是当训练集合很小而训练集合的元素特征又比较多的时候,单单使用经验风险最小化函数,会造成模型过拟合现象(过拟合就是训练出来的模型对训练集合的预测效果很好,但对新引入的数据预测效果很差。)
解决上面这种情况:有两种方法,1、减少特征,这样可以避免过拟合现象,但是会导致模型未能更多的利用有效信息。
2,正则化(结构风险最小化)。
也就是训练的目标改为使得结构风险函数最小:
J(f) 表示的是模型的复杂度,前面的是系数。一般J(f)是模型参数向量的1范数或者是2范数。
这样在原来的基础之上加入后面的限制之后,会使得在训练的过程中使得模型的参数总体尽可能变小,会使得模型避免过拟合现象。
阅读全文
0 0
- 正则化(经验风险最小化与结构风险最小化)
- 经验风险最小化 与 结构风险最小化
- 经验风险最小化 与 结构风险最小化
- 经验风险最小化与结构风险最小化笔记
- 经验风险最小化和结构风险最小化
- 损失函数、风险函数、经验风险最小化、结构风险最小化
- 损失函数-经验风险最小化-结构风险最小化
- 损失函数-经验风险最小化-结构风险最小化
- 【机器学习】统计知识之经验风险最小化与结构风险最小化
- 经验风险最小化
- 经验风险最小化
- 经验风险最小化
- 经验风险最小化
- 【九】经验风险最小化
- 经验风险最小化
- 经验风险最小化
- 结构风险最小化
- 结构风险最小化
- 矩阵空间理解
- POJ 1328 Radar Installation(贪心)
- spring学习笔记 -- day07 AOP介绍
- gradle编译出错
- MVC模型的简单理解
- 正则化(经验风险最小化与结构风险最小化)
- H
- 剪花布条||HDU2087
- shell脚本使用case
- HTML页面之间跳转与传值(JS代码)
- 配置生成sessionFactory--ssh整合之带有hibernate配置文件
- 使用四种框架分别实现百万websocket常连接的服务器
- pscad45 完美版+教程
- VMware WorkStation12的三种网络连接方式详解与NAT模式下静态IP配置(Ubuntu16.04版本)