#Paper Reading# Nonnegative Sparse PCA

论文题目：Nonnegative Sparse PCA
论文地址：http://machinelearning.wustl.edu/mlpapers/paper_files/NIPS2006_415.pdf

论文大体内容：
作者参照NMF（非负矩阵分解）问题，在稀疏PCA问题中加入非负约束，通过实验，发现效果比NMF以及普通的PCA好。

1、加入非负约束的PCA问题如下：

2、拉格朗日展开：

3、加入稀疏性控制：

4、对U矩阵的每个元素分别考虑：

5、求导：

6、使用梯度下降迭代更新U矩阵：

7、实验：
①数据集：使用了MIT CBCL Face Dataset[1]，CBCL是由麻省理工学院生物与计算学习中心公开的供科研与学习的数据库，它包含人脸数据集和非人脸数据集两部分，并且分别分为训练集和测试集两部分。其中，人脸训练集有2429幅19*19尺度的灰度图片，测试集有472幅；而非人脸训练集包含4548幅19*19尺度的灰度图片，及测试集有23573张。[2]
②Baseline：GSPCA(Greedy Sparse PCA)，NMF，PCA。
③实验方法：PCA后选择Top 10特征，使用线性SVM对人脸以及非人脸图片进行二分类。
④评测标准：ROC曲线
⑤结果：在正交性参数α=5*10^8，稀疏性参数β=2*10^6下，效果比baseline的都好。

8、思考：
无论是PCA，还是NMF，很多时候都是对问题加一些约束（比如正交性约束，非负约束，内部约束等），然后通过实验，都可能发现效果能有所提高，关键的过程是调整参数。本文中参数取得那么大也是第一次见，或者能对自己的实验有所启发。

参考资料：
[1]、http://cbcl.mit.edu/software-datasets/FaceData2.html
[2]、https://github.com/alphawolfxiaoliu/datasets/tree/master/CBCL

以上均为个人见解，因本人水平有限，如发现有所错漏，敬请指出，谢谢！