人脸识别PCA LDA等方法的一些讨论

Eigenfaces与fisherfaces可以说是人脸识别领域的经典基准算法了，不高明白真是无法说做过人脸识别。国内论文多如牛毛，但大多千篇一律，言之无物。建议看作者的原文。

对于PCA与LDA的推导建议仔细看一遍（主要是用拉格朗日方法转化为求矩阵的特征值）。

然而实际的情况是，方差矩阵是奇异的，无法求得理想解，怎么办呢？dodo总结的较为全面，摘录如下：

http://hi.baidu.com/luckzpz/item/9f12bb77834fed215c1789d9

LDA奇异性问题

众所周知，LDA是基于求解广义特征值问题（Sb*u=Alpha*Sw*u），所以在实际应用时遇到奇异性的问题，就是Sw矩阵不可逆。在人脸识别中解决这一问题的论文“浩如烟海”。这也说明了LDA的影响力之大。在这一类方法中，也有风格之分。

o. PCA 降维
在Fisherfaces中采用的就是先用PCA降维，再用LDA，这也是现在处理这一问题的一般方法。这里有个比较讽刺的事情。Belhumeur在他的论文里说：PCA actually smears the classes together。那末既然smears the classes together，既然PCA破坏类的结构，那为什莫还要用PCA降维？而且事实证明，即使在Sw可逆的情况下，用PCA features也会增强LDA在人脸识别中的性能。这里只能说明，PCA的作用或是PCA features并不是Belhumeur和其以后follow这样说法的人叙述的那样。PCA虽然简单，但是人们应该对它有个正确的认识，这个以后如果有机会再谈。

a. RDA
至今影响最大最实用的还是基于regularization思想的RDA。其实这个问题不仅仅在人脸识别中才被注意到。很早在统计中就被解决过，RDA发表于1989的Journal of the Americal Statistical Association杂志上，可见其久远。在Sw上加一个扰动项也是解决这一问题的最简单方法。

b.子空间投影
论文最多的也就在这一块。应用knato类似的排列组合方法，令image(Sw)和null(Sw)分别表示Sw的列（像）空间和零空间，则我们可很容易的就列出如下组合方法（强调：这里却不是提供给大家发论文的方法论，而是以较形象的方式叙述！）
把样本投影到
aa. image(Sb), bb. null(Sw), cc. image(Sw), dd. image(Sw)+null(Sw), ee. image(Sb)+null(Sw) 可并列可串行, ff. image(St)+null(Sw)
以上每一种组合就代表不止一篇论文，在此就不详细列举了。另外，你还可以把random sampling技术加进来，这样就可以不止翻倍。还有，你还可以把同样的技术用到KPCA KLDA (kFA)上，这样又可翻倍。更进一步，你还可以把ICA,LBP, Gabor features等诸如此类的东西和以上子空间混合，...，子子孙孙无穷尽焉。

http://www.ie.cuhk.edu.hk/people/xotang.shtml
这个东西做的最多的是国内的 YANG Jian。另外香港中文大学的 TANG Xiaoou 和他以前的学生 WANG Xiaogang 也做这相关的工作。YANG Jian的工作可以用他在TPAMI上的 KPCA plus LDA 这篇文章来概括，虽然他灌水无数，但就子空间方法而言，他这篇文章还有他发表在国内自动化学报上的那篇长文还是有东西的。如果你想做这一块的工作，值得看一看，是个较为全面的总结。TANG Xiaoou在子空间方面的代表工作（开山之作）就是dual spaces LDA, random sampling (and bagging) LDA, unified subspaces。（在此之后他还有学生一直在做，就不详细列举了。）

我建议想做这一块工作的同学们，要把TANG and YANG的工作烂熟于心，取长补短，相互学习，取其精华，这样可以较为快速而全面地掌握。

c. QR分解
矩阵和数值功底比较好的人，能做得更像模像样。Cheong Hee Park 和 YE Jieping 无疑是这方面的高手。去看看他们在TPAMI,JMLR, 和SIAM的J. Matrix Anal. & Appl上发表的论文可知一二。

d. 相关性
如果Sw可逆，则Sb*u=Alpha*Sw*u可以转化为 inv(Sw)*Sb*u=Alpha*u。那末就可以考察Sw的子空间和Sb子空间的相关性。这方面的代表工作就是Aleix M. Martinez在TPAMI上长文的那个工作。

e. 变商为差
变u'*Sb*u/(u'*Sw*u)为u'*(Sb-Sw)*u。

留待以后参考。文中提到干扰项，是不是像MQDF那样，在对角线上加一个小的常数以达到满秩？

有意思的是dodo对于杨健（也算是南理工的奇才了）的评价（灌水无数，亦有佳作），应该是比较中肯的呵呵。不管是杨建还是dodo，都算是模式识别领域内的牛人了，取其精华。