流形学习——局部线性嵌入算法LLE

来源：互联网发布：创维电视如何连接网络编辑：程序博客网时间：2024/06/06 08:23

LLE原理

局部线性嵌入（Locally Linear Embedding, LLE）是无监督非线性降维算法，是流行学习的一种。

LLE和Isomap一样试图在降维过程中保持高维空间中的流形结构。Isomap把任意两个样本点之间的测地距离作为流形结构的特征，而LLE认为局部关系刻画了流形结构。

LLE认为，在高维中间中的任意一个样本点和它的邻居样本点近似位于一个超平面上，所以该样本点可以通过其邻居样本点的线性组合重构出来。

这里写图片描述

我们假设共有N个样本点。可以根据欧式距离或者其他相似性度量为每个样本点xi∈Rd找到K个邻居，用ηik表示xi的第k个邻居点。重构误差为

J (W) = \sum i = 1 N | | x i - \sum k = 1 K w i k η i k | | 2 (1)

其中wik表示在重构xi时的第k个邻居的权重系数。把所有的重构系数放在矩阵W∈RN×K中，它的第i行元素表示重构xi时的邻居系数。

为了得到W，求解最小化问题

min W s . t . J (W) \sum k = 1 K w i k = 1, i = 1, 2, \dots, N . (2)

为了使得流形结构在低维空间中得以保持，LLE要求低维空间中的样本点仍能保持上面的局部线性关系。假设xi在低维空间中的映射为yi∈Rd′，令Y=[y1,y2,⋯,yN]。Y可以通过下面的优化问题进行求解：

min Y s . t . \sum i = 1 N | | y i - \sum j = 1 N w i j y j | | 2 1 N \sum i = 1 N y i y T i = I . (3)

注意，这里的wij和前面的wik不完全一样，表示在低维空间中重构第i个样本点时，第j个样本点的权重。相应的矩阵W∈RN×N可以由上面的W构造出来。为了不引起混淆，我们把后者重新写作W′。当j样本点是i样本点的邻居时，wij等于W′中对应的那个权重值；否则wij=0。后面会统一称作W，根据上下文确定到底是哪个。

两个优化问题的求解

上面两个优化问题都可以直接得到最优解的解析式。

高维空间中的优化问题

有两种方法可以推出优化问题（2）的最优解。

方法一

令wi表示矩阵W的第i行元素，Ni=[ηi1,ηi2,⋯,ηiK]∈Rd×K，则

J (W) = \sum i = 1 N | | x i - N i w T i | | 2 = \sum i = 1 N (x i - N i w T i) T (x i - N i w T i) = \sum i = 1 N (x T i x i - 2 x T i N i w T i + w i N T i N i w T i) .

由于第一项和W无关，所以目标函数等价于

J (W) = \sum i = 1 N (- 2 x T i N i w T i + w i N T i N i w T i) . (4)

构建拉格朗日函数

L (W, λ) = \sum i = 1 N (- 2 x T i N i w T i + w i N T i N i w T i) + \sum i = 1 N λ i (w i 1 - 1),

求导得到：

\partial L \partial w i = - 2 x T i N i + 2 w i N T i N i + λ i 1 T = 0, (5)

\partial L \partial λ i = (w i 1 - 1) = 0 . (6)

令

C i = N T i N i \in R K \times K . (7)

由公式(5)可以得到

w i = (x T i N i - 1 2 λ i 1 T) (C i) - 1, (8)

于是有

w i 1 = (x T i N i - 1 2 λ i 1 T) ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ \sum_m = 1 K (C i) - 1_1 m \sum_m = 1 K (C i) - 1_2 m ⋮ \sum_m = 1 K (C i) - 1_K m ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ = x T i N i ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ \sum_m = 1 K (C i) - 1_1 m \sum_m = 1 K (C i) - 1_2 m ⋮ \sum_m = 1 K (C i) - 1_K m ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ - 1 2 λ i 1 T ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ \sum_m = 1 K (C i) - 1_1 m \sum_m = 1 K (C i) - 1_2 m ⋮ \sum_m = 1 K (C i) - 1_K m ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ = [x T i η i 1, x T i η i 2, \dots, x T i η i K] ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ \sum_m = 1 K (C i) - 1_1 m \sum_m = 1 K (C i) - 1_2 m ⋮ \sum_m = 1 K (C i) - 1_K m ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ - 1 2 λ i \sum n = 1 K \sum_m = 1 K (C i) - 1_n m = \sum n = 1 K x T i η i n \sum_m = 1 K (C i) - 1_n m - 1 2 λ i \sum n = 1 K \sum_m = 1 K (C i) - 1_n m = \sum n = 1 K \sum_m = 1 K x T i η i n (C i) - 1_n m - 1 2 λ i \sum n = 1 K \sum_m = 1 K (C i) - 1_n m,

代入(6)中，得到

\sum n = 1 K \sum_m = 1 K x T i η i n (C i) - 1_n m - 1 2 λ i \sum n = 1 K \sum_m = 1 K (C i) - 1_n m = 1,

所以

λ i = 2 ( \sum K n = 1 \sum _ m = 1 K x T i η i n ( C i ) - 1 _ n m - 1 ) \sum K n = 1 \sum _ m = 1 K ( C i ) - 1 _ n m,

代入公式(7)中得到

w i = (x T i N i - ( 1 - \sum K n = 1 \sum _ m = 1 K x T i η i n ( C i ) - 1 _ n m ) \sum K n = 1 \sum _ m = 1 K ( C i ) - 1 _ n m 1 T) (C i) - 1 . (9)

根据公式(9)得到所有的wi，组成矩阵W。

方法二

J (W) = \sum i = 1 N | | x i - \sum k = 1 K w i k η i k | | 2 = \sum i = 1 N | | \sum k = 1 K w i k x i - \sum k = 1 K w i k η i k | | 2 = \sum i = 1 N | | \sum k = 1 K w i k (x i - η i k) | | 2 = \sum i = 1 N | | (X i - N i) w T i | | 2 = \sum i = 1 N ((X i - N i) w T i) T ((X i - N i) w T i) = \sum i = 1 N w i (X i - N i) T (X i - N i) w T i, (10)

其中Xi=[xi,⋯,xi]∈Rd×K。

构建拉格朗日函数

L (W, λ) = \sum i = 1 N w i (X i - N i) T (X i - N i) w T i + \sum i = 1 N λ i (w i 1 - 1),

求导得到

\partial L \partial w i = 2 w i (X i - N i) T (X i - N i) + λ i 1 T = 0, (11)

\partial L \partial λ i = (w i 1 - 1) = 0 . (12)

令

S = (X i - N i) T (X i - N i) . (13)

可以得到

w i = - 1 2 λ i 1 T S - 1, (14)

代入公式(12)中，得到

1 2 λ i 1 T S - 1 1 - 1 = 0,

1TS−11是一个实数，所以得到

λ i = 2 1 T S - 1 1,

代入公式(14)得到

w i = - 1 T S - 1 1 T S - 1 1 . (15)

暂时还没有证明(9)和(15)是否等价，留作以后的习题吧。

低维空间中的优化问题

令Y=[y1,y2,⋯,yN]∈RN×N，wi表示W的第i行元素。优化问题(3)的目标函数可以化简成：

J (Y) = \sum i = 1 N | | y i - \sum j = 1 N w i j y j | | 2 = \sum i = 1 N | | y i - Y w T i | | 2 = \sum i = 1 N (y i - Y w T i) T (y i - Y w T i) = \sum i = 1 N (y T i y i - 2 y T i Y w T i + w i Y T Y w T i) = \sum i = 1 N y T i y i - 2 \sum i = 1 N y T i Y w T i + \sum i = 1 N w i Y T Y w T i = \sum i = 1 N y T i y i - 2 \sum i = 1 N [y T i y 1, y T i y 2, \dots, y T i y N] ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ w i 1 w i 2 ⋮ w i N ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ + \sum i = 1 N (w i 1, w i 2, \dots, w i N) ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ y T 1 y T 2 ⋮ y T N ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ (y 1, y 2, \dots, y N) ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ w i 1 w i 2 ⋮ w i N ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ = \sum i = 1 N y T i y i - 2 \sum i = 1 N \sum j = 1 N y T i y j w i j + \sum i = 1 N \sum m = 1 N w i m y T m \sum n = 1 N w i n y n = \sum i = 1 N y T i y i - 2 \sum i = 1 N \sum j = 1 N y T i y j w i j + \sum i = 1 N \sum m = 1 N \sum n = 1 N w i m w i n y T m y n = \sum i = 1 N y T i y i - 2 \sum i = 1 N \sum j = 1 N y T i y j w i j + \sum k = 1 N \sum i = 1 N \sum j = 1 N w k i w k j y T i y j = \sum i = 1 N y T i y i - \sum i = 1 N \sum j = 1 N 2 w i j y T i y j + \sum i = 1 N \sum j = 1 N (\sum k = 1 N w k i w k j) y T i y j, (16)

令

δ i j = ⎧ ⎩ ⎨ 1, i f i = j 0, i f i \neq j,

令

M i j = δ i j - 2 w i j + \sum k = 1 N w k i w k j, (17)

则(16)可以写成

J (Y) = \sum i = 1 N \sum j = 1 N M i j y T i y j . (18)

通过展开进行矩阵相乘，可以证明

J (Y) = \sum i = 1 N \sum j = 1 N M i j y T i y j = t r (Y M Y T) .

令Z=YT，写作Z=[z1,z2,⋯,zN]，那么

J (Z) = t r (Z T M Z) . (19)

优化问题(3)的约束条件等价于

1 N Y Y T = I,

用

Z表示的话为

1 N Z T Z = I . (20)

于是优化问题(3)现在变成

min Z s . t . t r (Z T M Z), 1 N Z T Z = I (21)

拉格朗日乘子法，可以得到这个优化问题的最优解满足

M z i = λ i z i, (22)

即最优解肯定是M的特征向量，但是我们只需要d′个特征向量，是哪d′个呢？先把(22)代入目标函数中，得到

J (Z) = t r (Z T M Z) = \sum i = 1 N z T i M z i = \sum i = 1 N λ i z T i z i .

又因为约束条件1NZTZ=I其实等价于

z T i z i = N, i = 1, 2, \dots, N z T i z j = 0, i \neq j,

所以

J (Z) = N 2 \sum i = 1 N λ i,

所以为了最小化

J(Z)，应该取矩阵

M的前

d′个最小非零特征值对应的特征向量作为

Z的列向量，得到

Z，其转置即为

Y。

综上，M的前d′个最小非零特征值对应的特征向量作为Y的行向量就得到最优Y。

LLE算法总结

算法流程

步骤一
首先根据欧氏距离或者其他度量标准得到每个样本的K个近邻，得到近邻矩阵Ni。

步骤二
根据公式(7)求出Ci，并且求逆矩阵(Ci)−1。代入(9)中，得到根据每个样本的重构系数。

步骤三
把步骤二中的权重系数重新构建成稀疏矩阵W。根据公式(17)计算M，计算M的特征之和特征向量，取最小非零特征值对应的特征向量作为Y的行向量得到Y。

算法优缺点

优点

算法中只涉及矩阵运算，容易实现；
低维空间维度变化时，不需要重新运行LLE，只要在原有低维空间的基础上增加或者减去维度；

缺点

数据流形不能是闭合结构，否则LLE不再适用

疑问

优化问题(18)怎么应用拉格朗日乘子法？
自己尝试推导了一下，发现得到的方程组非常繁琐，不知道怎么化简。

参考

[1] Nonlinear dimensionality reduction by locally linear embedding. Sam T. Roweis and Lawrence K. Saul. 2000.
[2] 降维打击之LLE算法
[3] 机器学习降维算法三：LLE (Locally Linear Embedding) 局部线性嵌入

阅读全文

0 0