[cvpr2017]Learning an Invariant Hilbert Space for Domain Adaptation

马氏距离

Introduction

• 本文适用于半监督和无监督形式的domain adaptation
• 作者尝试开发一个几何解决方案，通过利用黎曼几何的概念学习潜在空间（latent space）的投影和马氏距离。
• 作者建议从source domain和target domain沿着相关联的映射学习潜在空间（latent space）的结构，以解决无监督和半监督DA的两个问题。
• 为此，作何提出在latent space中最大化discrimination power（区分source domain和target domain）的概念。同时，这个latent space也要能够做到最小化source domain和target domain的某个统计量之间的差异
• 特别地，作者利用矩阵流形上的黎曼几何和优化技术来解决问题。流形科普1；流形科普2（简而言之就是用非线性方式将数据从高维降到低维的，并且保持拓扑结构不变，对机器学习而言，流形学习就是一个提取特征的过程）

Proposed Method

• 作者建议学习一个 Invariant Latent Space (ILS)来减少source domain和target domain之间的discrepancy（差异）。
• 定义：
  
• ILS定义了将source domain和target domain的数据映射到p维lantent space空间的变换Ws和Wt：
  
• latent space用马氏距离M作为度量：
  
• cost function:
  
  L=Ld+λLu
  
  
  • Ld（Discriminative）：source domain和target domain的相异度（dissimilarity）
  • Lu（Unsupervised）：衡量source domain和target domain之间差异的一个统计量

Discriminative Loss

• Ld是为了使得latent space能够：
  
  • 最小化latent space中来自同一个分类的样本的不相似度
  • 最大化latent space中来自不同分类的样本的不相似度
• 定义来自latent space中的样本Z（这里允许半监督）：
  
• 度量M要使得相似的pair距离小，不相似的pair距离大
  
  
  • 当β→∞时，lβ趋近hinge-loss函数，lβ科技看成hinge-loss函数的平滑可导的变体，主要是为了便于优化和避免陷入单一样本点
    
  • 该公式中，xtMx计算了z1,k与z2,k的马氏距离（根据原始公式，这个M理应是(z1,k−z2,k)的协方差矩阵的逆矩阵，但是这里并不是，我在想为什么）
  • pairs中z1,k与z2,k的循序与lβ的大小无关
  • yk=1时也就是相似的时候，lβ随z1,k与z2,k的马氏距离的增加而增加，yk=−1时也就是不相似的时候，lβ随z1,k与z2,k的马氏距离而减少
  • 使用Stein divergence（？）将M正则化（regularize）
    
    

Soft Margin Extension

• 当β很大时（接近hinge-loss这种hard margin），会出现大量的异常数据（outliers）。迫使outliers在margin范围内会导致过拟合。因此，作者对Ld作出了名为Soft Margin Extension的改进（加入了松弛变量）：
  

Matching Statistical Properties

• 由于协方差矩阵表现了提取出的特征当中各个维度之间的相关性，因此作者使用协方差矩阵来捕捉source domain和target domain之间的不匹配程度
  

模型总览

(剩下的内容因为我水平所限，估计要等我学习一段时间（流行学习这一块盲区太多）后再来看才有可能看懂，这里先附上作者源代码