机器学习笔记（五）模型评估方法

我们利用测试集来测试学习器对新样本的判别能力，把测试集上的测试误差作为泛化误差的近似。在选取测试集时，需要尽可能与训练集互斥。即举一反三的能力，考试不出原题。

一.留出法

直接将训练集划分为两个互斥的集合，其中一个作为测试集T，另一个作为训练集S。

注意事项：

1.测试训练集的划分要尽可能保持数据分布的一致性，避免因数据划分过程引入额外的偏差而对最终结果产生影响。例如对D进行分层采样，D包含500个正例，500个反例，则分层采样得到的S应包含350个正例，350个反例，二T应包含150个正例，150个反例。

2.采用留出法时，需要采用若干次随机划分，降低特殊情况产生的干扰。

3.一般采用2/3~4/5的划分规则。

二.交叉验证法

先将数据D划分成k个大小相似的互斥子集，每个子集尽可能保持数据分布的一致性，即从D中通过分层采样得到。然后每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集。这种方法的稳定性和保真性在很大程度上取决于k的取值。k常取10.

注意事项：

1.也需要像留出法一样重复p次的随机划分，最后取验证结果的均值。常见的有10次10折交叉验证。

2.评估结果较准确，但是当数据集较大时，计算开销会很庞大。

三.自助法

给定包含m个样本的数据集D，我们对它进行采样产生数据集D、：每次随机从D中挑选一个样本，将其拷贝放入D、，然后再将该样本放回初始数据集D中，使得该样本在下次采样时仍有可能被采集到。这个过程执行m次之后，我们就得到了包含m个样本的数据集D、，这就是自主采样的结果。这种方法兼具前面两者的优势。

四.调参与最终模型

即确定算法的某几个参数，以适应不同的情况。