【MLF Week 7 上】Overfitting和Regularization

过拟合和正则化

Bad generalization指的是一个状态，在这个VC维下，Error_in小，Error_out大。

Overfitting指的是一个过程，在VC维变大过程中，Error_in变小，Error_out变大。

Overfitting（过拟合）指的是当VC维很大时，学到的MODEL不能很好的举一反三。在训练数据上取得很好的效果，但是对于训练数据以外的其他数据（如测试数据），预测结果与实际值差别很大。

 

导致Overfitting的因素有：

（1）use excessive d_vc。使用的Hypothesis的model complexity过大

（2）noise。训练数据的noise过大

（3）limited data size N。训练数据量太小

如何解决Overfitting：

（1）start from simple model。优先选择简单的model进行训练

（2）data cleaning/pruning。使得训练数据更为精确，减少noise的影响

（3）data hinting。从现有训练数据或对问题的了解产生新的训练数据

（4）regularization

（5）validation

 

data cleaning/pruning

判别标准：例如classifier的错误超过一定的阈值，或者数据点离其他label的数据点集距离过近等。通过一定的判别标准，判定某些数据点的label可能出错（出错原因是由于noise的影响）

采取措施：data cleaning采取的措施是将该数据点的label修正过来；data pruning采取的措施是将该数据点从训练数据中删除。

该方法有时会有用。但不是总是有用。

原因例如：

判别数据点label错误的判别标准通常要依靠经验值选取。

当训练数据很多时，某些数据点label的修正与否对最终结果影响不大。

 

data hinting产生新的训练数据

例如对手写数字图片进行平移或旋转产生新的训练数据virtual examples。

并不是总是有效。需要确保加进去的data有道理，并且不能太偏离原来的分布。

virtual examples not i.i.d. subject to p(x,y)

 

concession for advantage现象

训练数据1由10次多项式，添加noise产生。

训练数据2由50次多项式，不添加noise产生。

现在用两个Hypothesis set来训练数据。H2是2次多项式的Hypothesis set。H10是10次多项式的Hypothesis set。

g2是H2中Error_in最小的model。

g10是H10中Error_in最小的model。

现在比较这两个model在训练数据和测试数据上的错误，Error_in和Error_out。

对于训练数据1，在从g2切换到g10时，发生了overfitting。

通过对learning curve分析，发现，当训练数据量N小时，简单的Hypothesis往往容易取胜。

 

对于训练数据2，在从g2切换到g10时，也发生了overfitting。

通过分析，目标函数的复杂性target complexity会造成与noise类似的情形，这种noise被称为deterministic noise。

 

deterministic noise 与 stochastic noise

分析3个变量对overfitting的影响：训练数据量N，Gaussian噪声强度\delta^2，目标函数复杂度Qf

定义overfit measure = Error_out(g10)-Error_out(g2)

分析得结论为：

<stochastic noise影响>当Qf固定时，noise大，训练数据量小时，会发生overfit；

<deterministic noise影响>当noise强度固定时，Qf越大，会造成overfit。

对deterministic noise的理解：

当目标函数比Hypothesis更复杂时，例如目标函数是50次多项式，而Hypothesis set是10次多项式，这时会产生deterministic noise。因为最好的g10也会在训练数据上有错误。

例如计算机中用复杂的deterministic function来产生pseudo-random随机数据。

deterministic noise与stochasticnoise区别

（1）deterministic noise与Hypothesis set有关。理论上，使用更复杂的Hypothesis，deterministic noise会下降。当然复杂的H也会带来训练的困难。

（2）fixed for a given x。对于同样的训练数据，deterministic noise是固定的。