L2 正则化

来源:互联网 发布:浙江网络诈骗立案标准 编辑:程序博客网 时间:2024/05/21 18:00

在机器学习中,无论是分类还是回归,都可能存在由于特征过多而导致的过拟合问题。当然解决的办法有

 

  (1)减少特征,留取最重要的特征。

  (2)惩罚不重要的特征的权重。

 

但是通常情况下,我们不知道应该惩罚哪些特征的权重取值。通过正则化方法可以防止过拟合,提高泛化能力。

 

先来看看L2正则化方法。对于之前梯度下降讲到的损失函数来说,在代价函数后面加上一个正则化项,得到

 

    

 

注意是从1开始的。对其求偏导后得到

 

    

 

然后得到梯度下降的表达式如下

 

     

 

注意当0的时候,可以认为的值为0。可以看出没有正则化时,系数的权重为1,而现在明显

 

       

 

也就是说权值进行了衰减。那么为什么权值衰减就能防止overfitting呢 ?

 

首先,我们要知道一个法则-奥卡姆剃刀,用更少的东西做更多事。从某种意义上说,更小的权值就意味着模型的复杂度更低,对数据的拟合更好。接下来,引用知乎上的解释。

 

(1)当权值系数更大时,会过拟合。

 

    

 

(2)在PRML中,正则化就是通过对模型的参数设定一个先验来防止过拟合。

 

     

 

     试想一下,在上图中,如果不加正则化项,那么最优参数对应的等高线离中心点的距离可能会更近,加入正

     则化项后使得训练出的参数对应的等高线离中心点的距离不会太近,也不会太远。从而避免了过拟合。

0 0
原创粉丝点击
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防,我是瞎子 婴儿鼻泪管阻塞怎么办 孕妇流清水鼻涕怎么办 鼻涕是金黄的 怎么办 宝宝流鼻涕有痰怎么办 宝宝老是咳嗽流鼻涕怎么办 借钱逾期不还怎么办 借钱遇到老赖怎么办 如果造事者拒不执行赔偿怎么办? 遇到新疆暴徒来怎么办 隆胸一年下垂了怎么办 自动雨伞坏了怎么办 手机验证码搞忘了怎么办 uplay 登录不上怎么办 滴滴账号永久封禁怎么办 steam游戏买不了怎么办 电脑登不了游戏怎么办 育碧帧数低怎么办 帐号被盗怎么办微信 育碧登录错误怎么办 头盔买小了怎么办 上海离职了社保怎么办 日本瓦斯没交怎么办 半自动咖啡机自动出水怎么办 父母太粘自己怎么办 铜耳环变黑了怎么办 秋田犬爱打架怎么办 僧人建设庙宇资金怎么办 wifi总是掉线怎么办 微博授权失败怎么办 新浪微博被官方封号怎么办 电磁波辐射重度异常怎么办 卖鞋没有生意怎么办 华为手机越来越卡怎么办 华为手机电越充越少怎么办 土炕有裂缝冒烟怎么办 农村土炕不好烧怎么办 夏天土炕不好烧怎么办 怎么办我是个肚脐控 联想笔记本电池显示损坏怎么办 电脑关机没反应怎么办 变色灯坏了怎么办