Low-rank representation with local constraint for graph construction

    图构建中带有局部约束的低秩表示

    摘要：近年来基于图的半监督学习得到的广泛的研究。本文提出了图构建中带有局部约束的低秩表示模型LRRLC，此模型在LRR模型的基础上整合了数据的局部信息，低秩约束捕捉数据的全局结构，因此LRRLC有能力同时捕捉到数据的全局信息和局部信息。在“相似的样本有大的相似系数”这一局部假设下引进了正则化项。在本文中所有相似性的度量同LRR模型中的一致。考虑到非负系数的物理含义，正则化项可以写成带权的l1范数。基于局部和全局连续性的半监督学习框架用于分类任务。实验结果不错。

    1.简介

    图是挖掘隐藏在数据中的结构信息的强大工具......Liu提出了用样本表示样本本身，通过解决一个秩函数优化问题，得到的系数矩阵用于后期的图构建算法。秩离散特性，凸松弛到核范数。通过解决核范数最小化问题，找到所有样本的最低秩表示，捕捉到数据的全局结构，同时校正数据中的噪声和损坏。这个过程是低秩表示。

    传统的图构建方法主要分为两步：邻接关系的构建和权重的计算。在第一步中，k近邻等方法用来连接有公共边的样本，然后计算固定边的欧几里得距离做连边的权重。传统的方法使用样本间成对的关系，也就是一个样本与另一个独立样本之间的联系。

    Yan提出了一种新算法，免参数一步实现图的构建。通过解决一个l1范数问题，对应非零系数的样本决定邻接关系，选中样本的非零系数值决定对构建给定样本的图的贡献。非零系数值可以视为图的权重，因此图的权重和邻接关系可以同时获得。相比传统的方法，l1范数的图模型传达一个样本和剩下所有样本之间的关系，相同的方法独立地用于所有的样本。这种方法在缺失”干净“数据的情况下表现糟糕。

    ......

    最小化秩约束函数能解决l1图的问题，这种方法构建了一个稠密图和块对角化矩阵。然而对分类问题而言，稀疏图更能传达有效信息，对基于图的半监督学习而言，LRR模型获得的稠密图是我们不希望看到的。Zhuang提出了非负低秩稀疏图模型，样本的全局结构通过低秩约束获得，局部线性结构通过稀疏约束捕获，以此方法得到的图稀疏性得以提高，取得的结果也令人满意。不同于低秩稀疏图模型中对稀疏项使用一个常数权重，受启发于数据局部不变性的结构，在本文图构建中的局部约束表示系数上引进了依赖于数据的权重。权重随样本之间的距离而改变。ML里一个常用的标准是局部一致性，挨得近的样本有较大的相似系数。通过在LRR模型里整合局部一致性的假设，添加了局部约束正则化项的图模型能捕捉数据的全局和局部信息。局部正则化项使得远的样本有小的相似性系数。......通过引进局部约束正则化项，目标函数的稀疏性得以提升。

    2.低秩表示

    

    稀疏表示可能捕捉不到数据的全局信息，所以低秩表示，非凸，松弛到核范数。考虑到数据噪声和损坏的情况，目标函数增加混合范数来平衡噪声。在这个模型里，Z是系数矩阵，即zi对应着xi，注意zi是一个向量，zi中的每个分量可以看作在以X为基的情形下对重构xi的贡献程度！

    3.带有局部约束的低秩表示

    1）局部约束

    对辨别问题而言，样本几何信息的重要性在很多文献中已得以展现。本文提出的算法显式地考虑样本的几何结构。如果两个样本挨得很近则赋予它们一个大的权重，同时在新的数据表示空间上有相似的表示。局部不变性的观点在很多算法中得以应用，包括降维、聚类、分类和半监督学习。

    考虑数据的局部不变性，定义正则化项为：

    

    文中说这部分可以视为一个带权的l1范数，这里可以这样理解：所有xi-xj的距离的平方构成一个矩阵，而且因为是平方所有数非负，上面的式子就可以看作是矩阵中所有绝对值的加和，即文中所说的l1范数。方便起见，文中将上式记作

    

    始终需要记得，fij表示的是原样本之间的距离，上式是W（权重）的函数，只要样本不变，fij始终都是不变的，这一点很重要！在后面的模型中，W换成了Z!具体理解后面再做详细介绍。

    2）LRRLC图

    

    注意公式7中的最后一项中未知量换成了Z，也就是说局部约束项变成了Z的函数，这样做的目的是什么呢？前面说到，只要样本定下来了，fij也就确定不再改变了，而fij表示的是样本两两之间的距离，g(Z)是所有样本 距离与Z中对应元素绝对值的乘积。当样本xi和样本xj之间的距离比较大时，也就是fij比较大时，因为我的目标函数是一个最小化函数，那么这个约束就让Zij尽可能的小。前面提到了，zi中的每一个分量表示对重构xi的贡献程度，这时候Zij首先是第j列，表示的是以X为基构建xj的系数，其次是第j列的第i个分量，尽可能小意味着对构建xj的贡献小，这也符合提到的局部不变性的观点，离得远了那么相互作用就要弱一些，互相之间的贡献应该就要小一些了！有一个地方不要产生误解，因为fij实际上是对称的，那么是不是说Z也是一个对称矩阵了呢？我的理解是这样的，如果单单只有Z的这一项约束，那么Z也应该是对称的了，但是还有关于Z的一个低秩的约束！另外还有不确定的噪声都会影响Z，所以这里不能简单的认为Z是一个对称矩阵，而后面定义W邻接关系的时候用Z和Z的转置加和除2则是一个对称矩阵了！符合无向图权重的概念。

    根据林宙辰老师的系列论文，可通过引入辅助变量用自适应罚项的交替方向法求解上述模型。

      

     算法求解过程不做详细介绍，就是交替方向法的一个固定的格式，但是不知道作者的代码有没有开源，反正我没有找到，如果有代码那对理解论文就更有帮助了！通过求解上述模型解得Z和E，然后正规化Z中的列向量，并把小的元素直接置为0（作者在操作的时候肯定是设置了一个阈值，小于阈值的就直接置为0了），认为对应元素的下标表示的两列没有关系，比如正规化后Zij比较小了，那么我就直接把Zij置为0，意思是说，样本中的xi和xj应该距离比较远，互相贡献程度比较低，然后我置为0就认为它们没有关系了，然后定义图的权重为，这里的W也可以理解为一个相似性矩阵，显然是一个对称矩阵而且元素非0即为一个整数，正数绝对值越大意味着它们应该挨得越近，挨得远的都置为0啦！这也符合无向图权重的定义，权重为0我即认为这两个节点之间没有边相连，对应我们这里就认为不相互作用，距离很远！权值越大粗略理解就是说联系越紧密，挨得近，互相有影响！

    4.基于图的标签传播（其实这里”传播“翻译为”预测“可能更好一些）

    给定一样本的集合X={x1,...,xl,xl+1,...,xn}和一个标签集合L={1,2,...,c}，前l个样本xi（i<=l）有标签后n-l个样本没有标签，我们的目标就是通过给定的标签和通过前面算法构建的图来预测没有标签的样本的标签。定义一个标签矩阵，如果第i个样本被标记为j标签则Yij为1否则为0.令F表示最终的标签矩阵。使用所有的样本去构建一个相似性矩阵W，W衡量集合X中元素与元素之间的关系。考虑定义在X上的一个图G=（V,E），点集V代表X中的样本，边集E是权重矩阵W。然后根据W迭代更新每个样本的标签信息，通过文中的那个公式，其他的涉及到类似链接预测的我也不太理解了，大意是说最后没有标签的样本看哪个标签给予的数值最大就被标记为这个标签吧。这篇文章对我的贡献到这里基本上也就结束了。

    

    转载请注明，有问题可以通过邮箱 [e-mail] 沟通交流，互相讨论。