机器学习中正则化的理解

http://www.haodaima.net/art/2591450

正则化是结构风险最小化策略的实现，是在经验风险上加上一个正则项(regularizer)或罚项(penalty  term)。是模型选择的典型方法。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值越大。比较常用的正则化项有模型参数向量的范数，1-norm、2-norm

第1项经验风险较小的模型可能比较复杂（非零参数多），这是第2项的模型复杂度会较大。正则化的作用是选择经验风险与模型复杂度同时较小的模型。

用奥卡姆剃刀原理解释：在模型选择时，能够很好地解释已知数据并且十分简单的模型才是应该选择的模型。

从贝叶斯估计角度来看：正则项对应于模型的先验概率，可以假设复杂的模型具有较小的先验概率，而简单的模型具有加大的先验概率。（类似奥卡姆剃刀解释）

正则化的理解：

正则化就是对最小化经验误差函数上加约束，这样的约束可以解释为先验知识(正则化参数等价于对参数引入先验分布)。

约束有引导作用，在优化误差函数的时候倾向于选择满足约束的梯度减少的方向，使最终的解倾向于符合先验知识(如一般的l-norm先验，表示原问题更可能是比较简单的，这样的优化倾向于产生参数值量级小的解，一般对应于稀疏参数的平滑解)。

同时正则化，解决了逆问题的不适定性，产生的解是存在，唯一同时也依赖于数据的，噪声对不适定的影响就弱，解就不会过拟合，而且如果先验(正则化)合适，则解就倾向于是符合真解(更不会过拟合了)，即使训练集中彼此间不相关的样本数很少。

正则化大概有两个功能：

1，从模型修正上看，起了一个trade-off作用，用于平衡学习过程中两个基本量，名字诸如bias-variance、拟合能力-泛化能力、损失函数-推广能力、经验风险-结构风险等等；

2，从模型求解上看，正则化提供了一种唯一解的可能，众所周知，光用最小二乘拟合可能出现无数组解，加个L1或L2正则化项能有唯一解，即不适定性