The Curse of Dimensionality in classification

The Curse of Dimensionality in classification 

转载：我爱机器学习(52ml.net) » 《The Curse of Dimensionality in classification》

文章介绍了“维数灾难“会引起过拟合，而特征维数与训练样本数和分类器复杂度有关。

文章中讲到，如果可用的训练数据量是固定的，那么持续增加维数会引起过拟合；如果持续增加维数，训练数据量需要成倍地增长来保持相同的覆盖而避免过拟合。

当分类器倾向于建立非常精确的非线性的决策边界并且泛化性不好容易过拟合时（如，神经网络，KNN分类器，决策树），则维数应该相对较少；如果分类器容易泛化但本身的表达能力较弱（如，naive Bayes，线性分类器），则特征数应该较高一些。

过拟合发生在高维度空间估计相对较少参数和在低维度空间估计较多参数的情况，因此，所要估计的参数数量应该关于维数成倍增长。

关于维数的解决，可以选择特征选择算法选择最优的特征数量及特征组合，或者通过特征提取算法对原始特征进行组合（对原始特征进行线性或非线性结合来降维）（如，PCA），另外一种有效的方法是通过交叉验证训练分类器解决过拟合问题。