数据挖掘与机器学习之交叉验证

泛化误差和训练误差

学习器在训练集通过学习得到了一个模型，那么这个模型会不会真的适用于其他的场景呢？一般来说，模型在训练集上的误差叫作训练误差，而在新的样本或者说数据集上的误差叫作泛化误差，显然，我们希望得到一个泛化误差小的模型应用于新的数据集和场景。

过拟合和欠拟合

过拟合是指学习器把训练集自身的一些特征当做了所有的样本的一般性性质，导致了模型泛化能力的下降，而欠拟合则是指学习能力低，对训练集的一般性质都没有学好。思考这么一个问题，我们把目前的数据扔进去，然后学习得到一个模型，这个模型能用吗？模型的效果如何？这个时候，交叉验证（cross validation）就要大发威力啦。CV用于模型选择和调参。具体来说，就是把数据进行切分，一部分用于训练模型，一部分用于验证模型的泛化能力和选择模型、调参。

交叉验证的使用时间

当数据集的数据量不是很充足的时候，平时小于10000条数据时。当样本的数据大于10000的时候，通常如果样本大于一万条的话，我们一般随机的把数据分成三份，一份为训练集（Training Set），一份为验证集（Validation Set），最后一份为测试集（Test Set）。用训练集来训练模型，用验证集来评估模型预测的好坏和选择模型及其对应的参数。把最终得到的模型再用于测试集，最终决定使用哪个模型以及对应参数。

四大交叉验证

第一种是简单交叉验证（留出法）。首先，我们随机的将样本数据分为两部分（比如： 70%的训练集，30%的测试集），然后用训练集来训练模型，在测试集上验证模型及参数。接着，我们再把样本打乱，重新选择训练集和测试集，继续训练数据和检验模型。最后我们选择损失函数评估最优的模型和参数。　
第二种是S折交叉验证（S-Folder Cross Validation）。S折交叉验证会把样本数据随机的分成S份，每次随机的选择S-1份作为训练集，剩下的1份做测试集。当这一轮完成后，重新随机选择S-1份来训练数据。若干轮（小于S）之后，选择损失函数评估最优的模型和参数。
第三种是留一法（Leave-one-out Cross Validation），它是第二种情况的特例，此时S等于样本数N，这样对于N个样本，每次选择N-1个样本来训练数据，留一个样本来验证模型预测的好坏。此方法主要用于样本量非常少的情况，比如对于普通适中问题，N小于50时，我一般采用留一交叉验证。
第四种是用于样本量少的时候。叫做自助法(bootstrapping)。比如我们有m个样本（m较小），每次在这m个样本中随机采集一个样本，放入训练集，采样完后把样本放回。这样重复采集m次，我们得到m个样本组成的训练集。当然，这m个样本中很有可能有重复的样本数据。同时，用原始的m个样本做测试集。这样接着进行交叉验证。由于我们的训练集有重复数据，这会改变数据的分布，因而训练结果会有估计偏差，因此，此种方法不是很常用，除非数据量真的很少，比如小于20个。

交叉验证方法的选择

通过反复的交叉验证，用损失函数来度量得到的模型的好坏，最终我们可以得到一个较好的模型。那这三种情况，到底我们应该选择哪一种方法呢？一句话总结，如果我们只是对数据做一个初步的模型建立，不是要做深入分析的话，简单交叉验证就可以了。否则就用S折交叉验证。在样本量少的时候，使用S折交叉验证的特例留一交叉验证。