CVPR 2017 目标跟踪相关项目

CVPR 2017 MAIN CONFERENCE 的paper list已经出来了: CVPR2017，这里先大概介绍下，以后希望自己能够一个个的分析学习下～。

以下是main conference中单目标跟踪相关的论文，总共11篇，相关滤波7篇，其中1篇是oral，3篇用到卷积特征，相关滤波占了64%，(非卷积特征的)CNN相关4篇，可以看出目标跟踪现在最火的是相关滤波和深度学习。

一篇oral相关滤波类:

• CA+CF: Matthias Mueller, Neil Smith, Bernard Ghanem. "Context-Aware Correlation Filter Tracking." CVPR (2017 oral). [paper] [project] [code]
  

是这个组Home - Publications MT+CF, AT+CF的后续工作，虽然我不看好但它竟然是tracking中唯一一个oral，但每篇都有代码还算良心，今年主打是基于Staple的Staple+CA，至少速度还算快，可以看看。

六篇相关滤波：

• ECO: Martin Danelljan, Goutam Bhat, Fahad Shahbaz Khan, Michael Felsberg. "ECO: Efficient Convolution Operators for Tracking." CVPR (2017). [paper] [project] [github]

去年他的C-COT是VOT2016的第一名，Martin DanelljanMartin Danelljan 是我最仰慕的大牛，虽然我看的论文不多，但他的我每篇都看过，而且每篇都有代码都是精品。ECO论文去年11月就在arVix上挂出来了，是C-COT的加速改进，这次兼顾性能和速度，尤其是ECO-HC速度有60fps，强烈推荐要去看看。虽然ECO-HC没有跑VOT2016不知道什么原因，但这是MD大神半年前的工作了，不知道今年VOT2017会不会有新工作，期待。

• CSR-DCF:Alan Lukežič, Tomáš Vojíř, Luka Čehovin, Jiří Matas, Matej Kristan. "Discriminative Correlation Filter with Channel and Spatial Reliability." CVPR (2017). [paper]
  

在我看来是Staple和CFLB的结合，没有深度特征但加入了颜色直方图，还考虑了边界效应，在VOT上超过C-COT，速度勉强实时13fps，代码也已经公开了：alanlukezic/csr-dcf , 颜色直方图的又一种用法，有趣，要看要看。

• LMCF: Mengmeng Wang, Yong Liu, Zeyi Huang. "Large Margin Object Tracking with Circulant Feature Maps." CVPR (2017). [paper] [zhihu]
  

国人大作必须支持。这个可以看作者知乎，不用多说，速度很快80fps，其中的指标APCE我非常看好。

• MCPF: Tianzhu Zhang, Changsheng Xu, Ming-Hsuan Yang. "Multi-task Correlation Particle Filter for Robust Visual Tracking ." CVPR (2017). [paper] [project] [code]
  

国人大作必须支持。张天柱Tianzhu Zhang 老师也已经全面转向相关滤波了，还在做稀疏的同学快醒醒。粒子滤波结合相关滤波，速度和性能都非常接近C-COT，论文没跑VOT，不知道会不会参加VOT2017。

• CFNet: Jack Valmadre, Luca Bertinetto, João F. Henriques, Andrea Vedaldi, Philip H. S. Torr. "End-to-end representation learning for Correlation Filter based tracking." CVPR (2017). [paper] [project] [github]

Luca Bertinetto Luca Bertinetto - Personal page 去年的Staple和SiamFC都是VOT2016的两点，这是另一个每篇有代码，每篇都精品的大牛，CFNet是SiamFC的改进，CF进入CNN端到端训练了，研究热点，效果一般有可能是边界效应问题没解决好。

• ACFN: Jongwon Choi, Hyung Jin Chang, Sangdoo Yun, Tobias Fischer, Yiannis Demiris, and Jin Young Choi. "Attentional Correlation Filter Network for Adaptive Visual Tracking." CVPR (2017). [paper] [project] [test code] [training code]

另一篇CNN+相关滤波的方法，韩国这个组 Perception and Intelligence Lab 今年中了好多篇（下面的ADNet也是），论文还没看，感觉灌水居多兴趣不大，听说效果并不好，速度太慢的不感冒，不过做学术CNN之类的是热点，要跟进。

其他四篇：

• RaF: Le Zhang, Jagannadan Varadarajan, Ponnuthurai Nagaratnam Suganthan, Narendra Ahuja and Pierre Moulin. "Robust Visual Tracking Using Oblique Random Forests." CVPR (2017). [paper] [project] [code]

• ADNet: Sangdoo Yun, Jongwon Choi, Youngjoon Yoo, Kimin Yun, Jin Young Choi. "Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning ." CVPR (2017 Spotlight). [paper] [project]

• BranchOut: Bohyung Han, Jack Sim, Hartwig Adam. "BranchOut: Regularization for Online Ensemble Tracking with Convolutional Neural Networks." CVPR (2017).

• Donghun Yeo, Jeany Son, Bohyung Han, Joonhee Han. "Superpixel-based Tracking-by-Segmentation using Markov Chains." CVPR (2017).

看名字，都是Random Forests，Deep Reinforcement Learning，Convolutional Neural Networks，Markov Chains之类的，非相关滤波还速度不快的应该就不会关注了，有时间可能会看看吧。Random Forests是我比较喜欢的ML方法，不出意外应该会比较快；超像素分割做跟踪，我还没想好怎么做别人论文已经出来了，速度应该不会很快，颜色信息的又一种用法，可以考虑怎么和相关滤波结合，我应该会跟进。

分析总结：

要么又好又快，要么又好又新，要么又好又快又新。相关滤波的几篇论文代码基本都已公开，要跟进的可以排上日程表了。CNN的统治力太强大了，相关滤波要么结合深度特征，要么结合CNN训练，这可能是热点。

OTB100: 参考HakaseH/CF_benchmark_results 分析下这几个方法在OTB100上的表现：

这里包含了CA+CF, ECO, MCPF和CFNet，LMCF还没有公开代码，虽然我催过@H Hakase 更新CSR-DCF和ACFN的结果，但暂时还没有更新，CSR-DCF是颜色直方图方法，在OTB100上不会很高，看论文接近SRDCF，而ACFN看论文在OTB2015上不如Staple+CA的，这两个就先不管了。

红线标出了今年CVPR的方法，包括ECO, ECO-HC, MCPF, Staple+CA, CFNet-conv2和CFNet-conv1，蓝线是几个BASELINE，性能方面分别是14年的SAMF，15年的SRDCF和16年的C-COT，速度方面是14年的KCF和16年的Staple。

性能方面，ECO独领风骚，超出其他方法一大截，是唯一一个超过C-COT的；接下来是MCPF和ECO-HC几乎接近；之后Staple+CA略差一点了，但还是比SRDCF高一些；最后CFNet-conv2没有达到SRDCF的水准，CFNet-conv1就更是低的没谱了。速度方面：从下往上看，总体趋势越来越慢，比Staple好的方法中，ECO-HC比Staple+CA稍微快一点，其他的都很慢。另外，Qiang Wang 的DCFNet不论是速度还是性能都超过CFNet，注意这两个都在GPU上跑的。相信不用我说您也看出来了，ECO目前最好，而ECO-HC是又快又好的那个，非常尴尬，Staple+CA与ECO-HC相比，速度慢一点，性能差一截，这个oral真的非非非常尴尬，莫名其妙。。

VOT2016: 我最公认的数据库是OTB100和VOT2016，而大多数论文都不跑VOT2016，说明这个数据库的难度还是非常高的，CVPR 2017只有ECO和CSR-DCF跑了VOT2016，下面这个表格简单比较一下：

EAO和A越高越好，R越低越好，可以看出ECO高出非常多，但也不能说其他方法不好，最终还是要看VOT2017上各算法的表现了。必须一提，CSR-DCF是CPU上勉强实时的方法13fps，而ECO是C-COT的加速版提升了20倍，CPU上也还能接受了。

更新结果：CSR-DCF和ACFN的结果已更新，同样结合了颜色直方图，CSR-DCF要比Staple好一点，但也慢很多，ACFN与CFNet-conv2基本相当。速度方面，CSR-DCF不算快，是ECO的三倍，再考虑VOT2016的表现，CSR-DCF还是不错的。

注意：上图仅是目前公开代码的相关滤波类方法在OTB100上的性能和速度比较。

一点废话：VOT2016已经难到调参都很难提高的地步，所以大量论文都不敢跑没法刷，关于VOT2017，又新增了10个序列，都非常非常难，而且今年严防死守过拟合，不让在OTB, VOT, ALOV, NUSPRO和相似目标的序列上训练，我比较期待MDNet和TCNN今年会是什么水准，而且也一直不看好tracking问题在跟踪数据库少量序列上end-to-end训练(过拟合刷库是非常非常没有意义的事，如果有大规模百万级跟踪数据库这种方法也许可行)，最好fine-tune也不要有，就在大规模(非tracking)图像或(非tracking)视频库上end-to-end训练，模型拿过来直接用比较合理，比如ECO中的VGGNet卷积特征就非常成功，哪个库都很高完全没有过拟合问题。

参考：https://zhuanlan.zhihu.com/p/27335895