cs231n笔记（4）——正则化

一.

首先，如图一所示，红色为数据样本，当我们用一次函数去拟合数据时，可以看出，函数并不能很好的拟合数据。此时，我们称为欠拟合。

第二幅图，我们在中间加入一个二次项，也就是说对于这幅数据我们用二次函数去拟合。自然，可以拟合出一条曲线，事实也证明这个拟合效果很好。

然后如图三所示，当我们用四次函数去拟合数据时，虽然每个数据都在函数图像上，但是显而易见这并不是我们期望得到的数据趋势，为什么呢？很简单，它的分类只是适合于自己这个测试用例，对需要分类的真实样本而言，实用性可想而知的低。此时，我们称为过拟合。

二. 什么样的情况会出现过拟合：

过多的变量（特征），同时如果我们没有足够的数据集（训练集）去约束这个变量过多的模型，那么就会发生过拟合。

三. 如何防止过拟合：

1. 尽量减少选取变量的数量（图中不同次X的数量）
2. 正则化:正则化中我们将保留所有的特征变量，但是会减小特征变量的数量级,我们要加上惩罚项，从而使参数 θ3 和 θ4 足够的小。

四. 正则化

图中标红为正则项。

常用的正则函数有L1,L2两种，如下：

具体原理，在https://www.zhihu.com/question/20924039里有详细解释。我们要做的只有将损失函数正则化即调整参数惩罚正则项，防止数据过度拟合。