机器学习笔记（四）经验误差与过拟合

分类错误的样本数占样本总数的比例称为错误率。1-错误率称为精度。

把学习器的实际预测输出与样本的真实输出之间的差异称为误差。学习器在在训练集上的误差称为训练误差或经验误差。

在新样本上的误差称为泛化误差。我们最终是希望泛化误差最小化。

学习器把训练样本自身的而一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降，这种现象在机器学习中称为过拟合（过配）。

相对的是欠拟合（欠配）。这是指训练样本的一般性质尚未学好。

在现实任务中，会有多种算法可供选择，或者甚至对于一个算法当配置不同参数时会产生不同的模型，在使用中我们选取哪种学习算法、使用哪种配置参数，就是机器学习中的模型选择。