LDA（Fisher判别）

核心思想

现在要找一个直线，如何将这两个类最大限度的分开，直观的如果找一个投影法相，就像下面两个图，右边的结果更好：

它阐述了一个怎样的准则：

类间最大，类内最小！

类内最小

在一个类中来说，每一个样本要尽可能地靠近类地中心，类的中心在哪？

mi=1Ni∑xj∈Xixj

怎样表示类内最小？使用类内离散度矩阵表示：

Si=∑xj∈Xi(xj−mi)(xj−mi)T

也就是，每个样本到类中心的距离之和。

总的类内离散度矩阵：

Sw=P(w1)S1+P(W2)S2

注意，这里以两个类为例加以说明。

类间最大

Sb=P(w1)P(W2)(m1−m2)(m1−m2)T

具体推导参考这篇博文。

参考

以下几篇写的不错，等有时间回来在整理下。

http://blog.csdn.net/Rainbow0210/article/details/52892805
http://www.cnblogs.com/sdxk/p/4085829.html