机器学习中对于正则化的理解
来源:互联网 发布:python文本相似性 编辑:程序博客网 时间:2024/06/07 02:18
Promise yourself to be so strong that nothing can disturb your peace of mind.
对自己承诺:我要强大到任何事情都无法破坏我内心的平和。
机器学习中对于正则化的理解
在机器学习中,大多数算法都提及对向量进行正则化处理,搜集了一些网上的资料并在此写下自己对正则化的理解。
正则化(regularization),是指在线性代数理论中,不适定问题通常是由一组线性代数方程定义的,而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。——百度
为了引入正则化的概念,先来了解一下机器学习中分类存在的问题。如下图所示:
1.左侧图片称之为欠拟合,样本分类后具有较大的误差且泛化性不强。
2.中间图片称之为正拟合,能够正确的对样本进行分类并且具有较好的泛化性。
3.右侧图片称之为过拟合,这种情况是我们不希望出现的状况,它的分类只是适合于自己这个测试用例,对需要分类的真实样本而言,实用性可想而知的低
由于函数拟合过程中存在过拟合的现象,则需要方法来避免这种现象。避免过拟合现象有多种方法,但是此处只介绍正则化方法。
正则化的目的:防止过拟合。
正则化的本质:约束或者限制要优化的参数。
对于分类模型,需要最小化误差:
根据拉格朗日乘子法上式可以变化为如下形式:
其中
考虑更深入层面,可以令
为了使W向量中的项的个数最小化,引入范数的概念:
0范数:向量中非零元素的个数。
1范数:向量中元素的绝对值之和。
2范数:通常意义上的模。
为了使W向量最小化,与0范数的概念类似,向量中的0元素对应样本中的项系数为0,不需要去考虑,说明
令
为了防止过拟合,需要
在机器学习资料中,
由于0范数难以求解,是一个NP难问题,进而推导出在一定的条件下0范数和1范数能够等价,1范数和0范数可以实现稀疏,1因具有比L0更好的优化求解特性而被广泛应用。后又引入2范数,L2范数是指向量各元素的平方和然后求平方根。我们让L2范数的正则项||W||2最小,可以使得W的每个元素都很小,都接近于0,但与L1范数不同,它不会让它等于0,而是接近于0,这里是有很大的区别的哦;所以大家比起1范数,更钟爱2范数。所以我们就看到书籍中,一来就是,
以上是本人对于此内容的理解,敬请广大读者随时不吝批评指正,感谢。
- 机器学习中对于正则化的理解
- 机器学习中正则化的理解
- 机器学习中关于正则化的理解
- 对于机器学习的简单理解
- 机器学习中正则化项L1和L2的直观理解
- 机器学习中正则化项L1和L2的直观理解
- 机器学习中正则化项L1和L2的直观理解
- 机器学习中正则化项L1和L2的绘图+理解
- 机器学习中正则化项L1和L2的直观理解
- 机器学习中正则化项L1和L2的直观理解
- 机器学习中的正则化项的理解
- 转载 机器学习--正则化理解
- 新型机器学习算法:正则化理解
- 机器学习的正则化
- 机器学习中防止过拟合的正则化
- 机器学习中overfitting的理解
- 机器学习中偏差、方差的理解
- 机器学习中Precision,Recall的理解
- BootStrap3.3.7学习
- 替换空格
- priority_queue简单用法
- 算法面试之剑指offer篇(三)
- centos vsftpd安装
- 机器学习中对于正则化的理解
- MySQL工作原理
- 网络优化
- PAT[1056]组合数的和
- 对指定代码段进行性能分析
- NOIP2015神奇的幻方(洛谷2615)
- reverse-nodes-in-k-group
- vb.net 教程 20-3 控制Ie浏览器 3
- 遗传算法