立体匹配之（三）： A Deep Visual Correspondence Embedding Model for Stereo Matching Costs

摘要

• 也是基于patches的匹配
• 加入亮度信息
• 最后基于全局优化
  可惜没有公开代码，在KITTI2012数据集上排在16,没有在2015上排。

1 Introduction

This deep embedding model leverages appearance data to learn visual dissimilarity between image patches, by explicitly mapping raw intensity into a rich embedding space.

与mc-cnn相似，不同点在于：
（1）对左右两个patches得到的输出（feature vectors）我么直接通过点乘计算其欧拉空间距离，而mc-cnn则更为复杂，需要采用fc来得到最终的相似性score,相比之下我么的框架更加快、
（2）本框架是一个多尺度网络，可以学习不同尺度空间的特征向量。
在feature matching领域，应用cnn的有[12,22],其中[12]是稀疏的，而[22]是主要真毒匹配semantically similar regions。

2 deep embedding for stereo estimation

2.1 Multi-scale Deep Embedding Model

左图的patch IL(p) 右图的IR(p-d):
patch size =13 * 13,正样本的内积大而负样本的内积小，这一点与mc-cnn额的二分类模型不一样。
S=< f(IL(p)), f(IR(p−d)) > (内积)
这里选择了两个scale：并通过不同的权重进行融合。

基本框架：

输入是两组13*13的patch,(不同的尺度)
蓝色的是原分辨率，红色的是下采样的，采用4层CNN提取特征f(I)，
L1,L2：卷积核数目32， size ：3*3
L3，L4：卷积核数目200，size : 5*5
对每个scale，左右patch的权值共享，最后两个scale得到两个score,然后通过一个卷积得到权重结果。

conv后面有Relu,但是没有pool ，以保证尺度不变性。

2.2 Efficient Embedding for Testing

只需要用全卷积提取一次特征 ，然后采用一个sliding-window style inner product计算视差。
而mc-cnn则需要对每个可能的视差进行一遍conv的过程。

2.3 training details

正负样本的设置与mc-cnn相同，实际训练的时候，用大的Nlo, Nhi开始训练会更快收敛，后面慢慢减小Nlo, Nhi。

3 stereo framework

采用MRF-based stereo
1. 匹配cost C(p,d)= -S(p,pd)
2. 经过SGM得到一个raw disparity map
3. LRC检验，去掉不可靠点，然后传播有效点的视差到不可靠点[29]。

4 实验

基于Caffe

参考文献

[29] X. Sun, X. Mei, S. Jiao, M. Zhou, Z. Liu, and H.Wang. Real-time local stereo via edge-aware disparity propagation. PRL, 49:201–206, 2014.

（未完待续。。。）