结合图拉普拉斯的半监督学习

摘要：在半监督学习中一个基本的问题是对于潜在数据如何建造图。我们提出使用结合一系列不同的构造图方法。我们计算最优的结合核函数。这个核解决了一个拓展的regularization问题，其要求一个共同最小包括数据和图核集合。我们呈现很好的结果在不同的OCK任务上，最优结合核实从由不同的距离函数和不同的k近邻得到的图。
1 简介
半监督学习的观点是未标记数据可能可以被用来提高学习器的表现在一个监督任务中。半监督学习的关键在于建立一个假设，也就是数据处于一个低维流形空间中数据分布在周围空间。这个流形可以用一个加权离散图来近似，其中经验数据被认为是图中的节点。图构造包含两部分，第一步选择一个距离函数然后应用它去确定图中的边（或者权重）。例如，本文中我们考虑图像之间的距离是基于欧氏距离，欧氏距离结合图像转化，并相关正切距离；我们决定图中的边集合使用K近邻。另一个共同选择是通过一个关于距离d的decreasing 函数加权边。
尽管过剩的未标记数据可能提高经验流形近似的质量，来达到更好的表现，这些方法的实际实验显示它们的表现很大程度上取决于图是如何构造的。因此，模型选择问题必须考虑距离函数的选择和参数k在构造图中的超参。大量方法被提出对于图构造，在本文我们不不选择单图，而是提出结构一系列图。我们的解决方案实现了基于regularization的结合并且边集合会得到一个特定的图。每个图可能使用一个核关联起来。我们应用regularization去选择最好的这些核的结合。最小函数将平滑它去适应数据和它的范数。特殊的是这个regularization是最小的不是在单核空间，而是在对应所有核的凸结合上的最小。因此所有数据（有标记数据）可能被保留来训练，而不会由交叉验证使得减少。
2 图regularization的背景知识
2.1再生希尔伯特核空间
X为集合，K为X * X->R 表示核函数，Hk表示RKHS函数f ：X->R， 当（1）对于任意x, K(x,:)属于Hk（2）再生核属性f(x) =