PCA的分析与几何性质

　　以下两个关于一维表示样本的问题与PCA模型等价。只考虑第一主方向唯一的情况。

分析：方差信息保留最大

　　给定样本点{xi}Ni=1⊂Cn，求保留信息最多的方向。在PCA中信息在某方向上的多寡定义为数据在该方向投影值之方差。另择亦可，参见信息熵。
　　按上定义，所求应为

\mathop{\rm argmax}_{\substack{u\in\mathbb{C}^n\\\|u\|=1}}\sum_{i=1}^N\left(\left\langle x_i,u\right\rangle-\frac{1}{N}\sum_{j=1}^N\left\langle x_j,u\right\rangle\right)^2,

argmaxu∈Cn∥u∥=1∑i=1N⎛⎝⟨xi,u⟩−1N∑j=1N⟨xj,u⟩⎞⎠2,

即

argmaxu∈Cn∥u∥=1∥∥∥(I−1N11∗)X∗u∥∥∥2.

　　令X¯=X(I−1N11∗)，即中心化，则要求

argmaxu∈Cn∥u∥=1∥∥X¯∗u∥∥2.

　　对X¯进行SVD分解，得

argmaxu∈Cn∥u∥=1∥∥Σ¯U¯∗u∥∥2,

则显然解为

u∗=[U¯]⋅,1,

此时任意x∈Cn在该流形上的坐标表示为

xlabel=⟨x−1n∑i=1Nxi,u∗⟩.

　　注意若X¯最大特征值的特征空间维数为一，即PCA解唯一时，此表示与样本空间坐标架选取无关，因核函数为K(x,y)=⟨x,y⟩=⟨Ux,Uy⟩，其中U∈Cn×n为酉矩阵。若特征空间维数不为一，则无此一致性。详参Kernel PCA一文。
　　另外，原问题等价于

argmaxu∈Cn∥u∥=1u∗X¯X¯∗u,

其中X¯X¯T=X(I−1N11T)XT即为协方差矩阵。

几何：低秩拟合误差最小

　　给定样本点{xi}Ni=1⊂Cn，求与样本点距离平方和最小的一维流形。
　　相当于允许样本点有一致平移量v∈Cn后到单位向量u∈Cn张成子空间的距离平方和最小。知对任意x∈Cn，其至span{u}之距离为

∥x−⟨x,u⟩u∥2=∥x∥2−|⟨x,u⟩|2.

　　即要求

argminu,v∈Cn∥u∥=1∑i=1n[∥xi−v∥2−|⟨xi−v,u⟩|2].

　　分离变量后先解决子问题

\mathop{\rm argmin}_{v\in\mathbb{C}^n}\sum_{i=1}^n\left[\left\| x_i-v\right\|^2-\left|\left\langle x_i-v,u\right\rangle\right|^2\right].

argminv∈Cn∑i=1n[∥xi−v∥2−|⟨xi−v,u⟩|2].

　　注意当vv与uu平行时\sum_{i=1}^n\left[\left\| x_i-v\right\|^2-\left|\left\langle x_i-v,u\right\rangle\right|^2\right]=\sum_{i=1}^n\left[\left\| x_i\right\|^2-\left|\left\langle x_i,u\right\rangle\right|^2\right]∑ni=1[∥xi−v∥2−|⟨xi−v,u⟩|2]=∑ni=1[∥xi∥2−|⟨xi,u⟩|2]，故不妨设v⊥u。对目标函数关于v求导为0得

nv=∑i=1nxi−⟨∑i=1nxi,u⟩u,

由前讨论，v可取简单形式1n∑ni=1xi，即中心化。记中心化后样本点为{x~i}Ni=1⊂Cn，问题转化为

==argminu∈Cn∥u∥=1∑i=1n[∥x~∥2−|⟨x~,u⟩|2]argmaxu∈Cn∥u∥=1∑i=1n|⟨x~,u⟩|2argmaxu∈Cn∥u∥=1u∗X¯X¯∗u.