Joint Learning of Convolutional Neural Networks and Temporally Constrained Metrics for Tracklet Asso

题目：Joint Learning of Convolutional Neural Networks and Temporally Constrained Metrics for Tracklet Association

来源：CVPR2016

Tracker名称：CNNTCM

实验结果：2DMOT2015：MOTA=29.6

创新点：

为轨迹关联联合学习CNN网络和时间约束的度量标准。不同于已经存在的基于轨迹关联的跟踪方法，本文提出了一种新颖且有效的方法来获得基于判别式外观的轨迹相似度模型（discriminative appearance-based tracklet affinity models）。所提方法联合学习了CNN网络和时间约束度量标准。在本文方法中，一种孪生CNN网络首先在附加数据（auxiliary data）上被预训练出来。然后，这一孪生CNN和时间约束标准被联合在线学习以构建the appearance-based tracklet affinity models。所提方法可以在一个统一的框架下，联合学习hierarchical deep features和带有时间约束的成对片段标准（temporally constrained segment-wise metrics）。为在轨迹间进行可靠的关联，一种新颖的包含时间约束的多任务学习机制的损失函数被提出来（a novel loss function incorporating temporally constrained multi-task learing mechanism）。通过使用所提方法，轨迹关联甚至可以在挑战情景下完成。

基于轨迹关联的方法通常有2个关键部分。

①a tracklet affinity model that estimates the linking probability between tracklets(track fragments),which is usually based on the combination of multiple cues(motion and appearance cues).

②a global optimization framework for tacklet association, which is usually formulated as a maximum a posterior problem(MAP).

深度神经网络成功的核心是可以充分利用深层结构来学习richer hierarchical features through multiple nonlinear transformations。在本文中，作者旨在通过联合学习CNN和the appearance-based tracklet affinity models的方式关联轨迹。这一联合优化将会最大化解决轨迹关联的能力。因此，我们提出联合学习the siamese cnn(由two sub-networks和appearance-based tracklet affinity models组成)，以使得the appearance-based affinity models 和对于跟踪物体的分层特征可以被同时学到。此外，基于对序列数据流的特征分析，一种新颖的temporally constrained multi-task learning mechanism被提出来，以作为目标函数的补充。这使得在解决轨迹关联问题时，深层架构更加有效。

所提出的架构是：

给定一个视频输入，首先在每一帧通过一个预先训练好的detector检测object（如DPM检测器）。然后一个双阈值化（dual-threshold）的策略被采用以生成可信赖的轨迹。孪生CNN首先被离线训练，接着the siamese CNN 和时间约束的度量被联合学习for tracklet affinity models by using the online collected training samples among the reliable tracklets.最后，轨迹关联的问题就被建构成了a generalized linear assignment(GLA) problem, which is solved by the softassign algorithm.多个目标最终的轨迹在a trajectory recovery process后被获得。

贡献：

①提出了一个统一的深度模型进行联合学习。为当前跟踪到的物体学习分层特征，为轨迹相似模型的的建立，学习时间约束的成对片段（segment-wise）度量标准。用这一深度模型，特征学习和判别式轨迹相似度模型的学习能够彼此相互作用，最大化他们彼此的合作性能。

②提出一种新颖的时间约束的多任务学习机制，将统一的深度神经网络的最后一层给嵌入进来，这样做可以更加有效的为轨迹关联学习基于外观的相似度模型。

③发布了一个新的数据集。