Manifold Alignment without Correspondence（笔记）

本文是Wang Chang的论文《Manifold Alignment without Correspondence》

这篇论文提出一种无监督流行对齐的方法。在没有对应信息的情况下，通过比较局部邻域的结构对齐不同的流形。

1. 流形对齐的主要框架：

A. 是一个两步对齐的方法，如Procrustes alignment，在这个方法中，第一步，将整个数据集映射到低维空间中(使用降维方法，LE或LPP), 这一步方法是无监督的，第二步，对其中一个数据集进行平移，旋转，伸缩处理对齐到另一个数据集中，这一步方法是有监督的，利用已知的对应点对齐数据。

B. 是一步对齐的方法， 这种方法利用一部分已知对应点对齐数据，通过求解联合矩阵的到对齐后的低维映射结果。

C. 是我们要说的无监督对齐方法，从图中可知，无监督流形对齐是一中一步对齐的方法，但是不同的是，两个数据集都没有提供对应点的信息，因此，无监督流形对齐的关键就是寻找流形间对应关系矩阵。

2.Notation

在介绍具体算法之前，统一定义所用到的字母表示：

如上图所示， X，Y分别是两个流形上的采样样本，我们需要找到两个映射和将X和Y映射到一个共同的空间Z， 它们的邻域关系在新的空间中被保持，同时，如果xi的局部关系和yj的局部关系在原始空间中相似，则它们在新的空间中会是相邻关系。

3. The Main Algorithm

3.1 High Level Explanation

数据集X，Y由不同的特征表示。因此，很难直接比较xi和yj。为了建立两个流形之间的联系，这里使用xi和它的邻域表示局部结构。因为两个流形的尺度可能不同，因此还需要一个比例系数，这样，我们就可以直接比较xi,和yj了。

在算法中，首先利用局部结构列出每个样本所有的可能性。然后将对齐问题转变为带约束的嵌入问题。最后，利用广义特征分解求解。

3.2 The Algorithm

假设已知用于比较数据点之间相似度的核函数。算法如下； 

1.建立局部链接关系：

第一步是建立两个流形之间的关系，具体做法后面会讲到，第二步是建立各自流形的局部关系，使用LE中构造权值的方法构造各自流形的局部权值矩阵。

2.链接两个流形

计算链接矩阵，L,Z,D的表示见Notation中的图

3.对链接矩阵降维，计算最优的投影

这一步，将对齐问题转换为对一个联合矩阵的广义特征分解问题，取前最小的d个特征值对应的特征向量。

4. 找到X和Y之间的对应关系

A表示特征向量的前p行，B表示后q行，A和B即为X，Y对应的映射函数（矩阵）。这样，就可将X，Y映射到低维空间中了。

这里

。

4. Justication

无监督流形对齐是一步流形对齐的方法，因此，其损失函数遵循一步对齐的框架，不同的是，其中没与给出任何流形间的对应信息，流形间的权值由流形的局部结构的比较产生。

其中，第一项是流形间的对应关系，后面两项是各自流形的对应关系，这里，第一项中的系数决定流形间权值在对齐过程中的比重（重要性）一般取1。

最后求解就是对这个损失函数求最小值。即得到最优的映射。

5. Matching Local Geometry

给定X，首先构造mxm的距离矩阵，这里是xi和xj之间的欧式距离。然后利用xi和它的k个邻域构造Rxi，定义间Notation中的图的定义。Rxi表示每个样本xi与它的k个邻域之间的欧氏距离，Rxi是一个(k+1)x(k+1)的矩阵，利用这个矩阵，可以求出流形间的距离表示：

这里是对邻域做排列后的结果，例如，如果邻域为3，邻域分布就有3！种组合方式，比较每一种组合形式，找出最小的那个距离值。

比较每一个样本，就可以得到最后的权值矩阵了

这么做主要是因为在对应关系未知情况下，两个流形间的对应结构也是不清楚的，因此，比较邻域的所有组合，是为了把邻域转到一个合适的方向。(我的理解)

这里给出论文证明过程，但不做详细解释

之后，就可以利用联合矩阵求解了。

原论文链接http://ijcai.org/papers09/Papers/IJCAI09-214.pdf、

关于流形对齐的网页

Manifold Alignment - Chang Wang's Home Page