常用分类器的效果对比

如果把机器学习归为两大类，那么主要的工作可以分为：分类和聚类。而分类任务基本上占整个机器学习或者是数据挖掘领域的70%,可见我们遇到的很多问题，都可以用分类的算法进行解决。机器学习发展到现在，许多被证实有效的分类算法被提出，例如我们经常会用到的K-近邻分类器、朴素贝叶斯分类器、支持向量机(SVM)、决策树算法等。大家平时在用的时候可能并不太清楚每种分类算法适合哪种类型的数据，因为对于不同的数据集，上述算法的效果可能有很大的区别，所以了解每种分类器的特点对于解决实际问题有很大的帮助。下图是我从网上找的一张典型的分类器性能对比图，我个人觉得很醒目，有一定的参考意义。

大家可能对其中的LDA和QDA不太熟，我从百度文库中截取了它的相关介绍：

线性判别分析(Linear Discriminant Analysis, LDA)，有时也称Fisher线性判别(Fisher Linear Discriminant ,FLD)， 这种算法是Ronald Fisher 于 1936年发明的，是模式识别的经典算法。在1996年由Belhumeur引入模式识别和人工智能领域的。性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。因此，它是一种有效的特征抽取方法。使用这种方法能够使投影后模式样本的类间散布矩阵最大，并且同时类内散布矩阵最小。就是说，它能够保证投影后模式样本在新的空间中有最小的类内距离和最大的类间距离，即模式在该空间中有最佳的可分离性。

二次型判别分析(Quadratic Discriminant Analysis ,QDA)，其实是LDA的一种变体，LDA算法中认为每个类别的协方差矩阵∑相同，而QDA去掉了这条假设，每个类别的协方差矩阵是不同的。