Online Multi-Object Tracking Using CNN-based Single Object Tracker with Spatial-Temporal Attention M

来源：ICCV2017

创新点：

用基于CNN的单目标跟踪器，采用时空注意力机制的方式，进行在线多目标跟踪。在本文中，提出了一个用于在线多目标跟踪的基于CNN的框架。这一框架在适应外观模型和在下一帧搜索目标时能够利用单目标跟踪器的优点。简单地把单目标跟踪运用至多目标跟踪会遇到计算效率和遮挡漂移的问题。本文的框架通过共享特征的方法获得计算效率的提升。并且，通过ROI-pooling获得每个目标的个体特征。一些在线学习到的特定目标的CNN层用于调整每个目标的外观模型。在这个框架中，介绍一种时空注意机制（spatial-temporal attention mechanism, STAM）来控制由于遮挡和目标间交互的而导致的drift问题。目标的可视图（the visibility map）被学习且被用于推断空间注意力图（spatial attention map）。这一spatial attention map被用于给特征赋予权重。此外，遮挡状态可以从the visibility map中估计得出，而这可控制在不同帧中，拥有不同遮挡状态的训练样本的weighted loss的在线更新过程。这点可看作是时间注意机制。

将SOT迁移至MOT中，有2个问题:

①SOT容易从noisy samples中学习得到，最终产生drift。

②因为MOT有不断出现的新目标，这导致在初始化SOT时计算代价蛮高的，尤其是在用到deep learning时。鉴于此，本文提出STAM，在该框架中，每个目标有他们在线学得的个体跟踪器。

Related Work.

Multi-object Tracking by Data Association.

有两个步骤：检测和数据关联。大部分的这个过程是采用的是离线的方式。离线的方法把MOT看成是a global optimization problem，重点在于设计各种各样的优化算法such as network flow、continuous energy minimization, max weight independent set, k-partite graph, subgraph multi-cut and so on.只是离线方法不能适应实时性。在线方法可以real-time。在线方法只使用up to the current frame的信息产生轨迹，使用probabilistic inference or deterministic optmization（如匈牙利算法）。基于关联的方法就是太过于依赖检测了，这一点对于online tracking methods更加明显，因为online method特别容易受到noisy detections的影响。本文将SOT用于MOT，目标通过使用在线学习到的外观模型以搜索最匹配的位置而被跟踪到。This helps to alleviate the limitations from imperfect detections. Especially for missing detections.

Occlusion handling in MOT.

Most works旨在使用更好的检测器来处理部分遮挡。但在本文中，作者从feature learning的视角来考虑handle occlusion，也算是对检测方法一种补充吧。特别地，we focus on learning more robust appearance model for each target using the SOT with the help of spatial and temporal attention.

贡献：

①提出一种有效的基于CNN的在线MOT框架，通过在多个物体间共享计算的方式在将基于CNN的SOT跟踪器应用至MOT中时解决计算的复杂度。

②为处理由遮挡和目标交互所导致的漂移问题，目标的时空注意被在线学习。在本文的设计中，目标的可视图（the visibility map）被学习，且被用于推理空间注意力图（spatial attention map）。这一空间注意力图用于给特征赋予权重（weight the features）。此外，可视图指明了目标的遮挡状态，这一遮挡状态是在线更新过程中要考虑的重要线索。一个目标遮挡的越严重，越不可能被用于更新相对应的个体tracker。这可以看作是时间注意力机制（temporal attention mechanism）。时空注意力机制（STAM）的使用可以帮助tracker在应对drift时更加鲁棒。