统计学习精要 (Elements of Statistical Learning ) 习题 3.21

统计学习精要 (Elements of Statistical Learning ) 习题 3.21

3.21 Show that the solution to the reduced-rank regression problem (3.68), with Σ estimated by YTY/N, is given by (3.69).
Hint: Transform Y to Y∗=YΣ−1, and solved in terms of the canonical vectors u∗. Show that Um=Σ−12U∗m ,and a generalized inverse is U−m=U∗TMΣ12.

思路：

(3.68) 是

B̂ rr(m)=argrank(B)=mmin∑i=1N(yi−BTxi)TΣ−1(yi−BTxi).

其中Σ是拟合误差的协方差矩阵。这个问题表示线性拟合用的矩阵B的秩是m的限制下，最小化标准化的拟合误差。此处如果用YTY/N替换Σ，那么其解就是

B̂ rr(m)=B̂ UmU−m

在下文，我用秩r替换秩m，N看作是新的矩阵，仅仅用的符号改变而已。证明这个需要准备一个小的定理。

定理一：S是一个m×n的矩阵且秩为m。若求同样m×n的矩阵P但秩为r(≤m)，使得tr[(S−P)T(S−P)]最小化，那么P=SNNT，其中N大小是n×r且其列向量是STS的前r个标准化的特征向量。

证明：
假定 P=MNT，M∈Rm×r， N∈Rn×r 且 NTN=I。则

argPmintr[(S−P)T(S−P)]=argMmintr[(S−MNT)T(S−MNT)]

因此 M=SN， 且P=SNNT。代入则得

argNTN=Imintr[(S−SNNT)T(S−SNNT)]=tr(STS−NTSTSN)

因此问题转化为

argNTN=Imaxtr(NTSTSN)

因此N是STS的前r个特征向量。

回归原题，

∑i=1N(yi−BTxi)TΣ−1(yi−BTxi)=trace(Y−XB)Σ−1(Y−XB)T=trace(Y−XB)Σ−12Σ−12T(Y−XB)T=trace(Y∗−XB∗)T(Y∗−XB∗)

其中Y∗=YΣ−12，B∗=BΣ−12。

展开则可以得到

trace(Y∗−XB∗)T(Y∗−XB∗)=trace(Y∗TY∗−2Y∗TXB∗+B∗TXTXB∗)=trace(Y∗TY∗−Y∗TX(XTX)−12(XTX)−12XTY∗)+trace(Y∗TX(XTX)−12(XTX)−12XTY∗−2Y∗TX(XTX)−12(XTX)12B∗+B∗T(XTX)12(XTX)12B∗)=trace(Y∗TY∗−Y∗TX(XTX)−12(XTX)−12XTY∗)+trace((XTX)−12XTY∗−(XTX)12B∗)T((XTX)−12XTY∗−(XTX)12B∗)

令S=(XTX)−12XTY∗， P=(XTX)12B∗，那么根据定理一 P=SNNT，其中N 是STS的前r个特征向量。又因为ST=Y∗TX(XTX)−12=(YTY)−12(YTX)(XTX)−12，因此N是canonical vectoer.

最后，(XTX)12B∗=(XTX)−12XTY∗NNT，因此 B=(XTX)−1XTYΣ−12NNTΣ−12。这和题目的B̂ rr(m)=B̂ UmU−m含义一致。