Deep Network Flow for Multi-Object Tracking

来源：CVPR2017

创新点：

对于数据关联，一种典型的方法是寻找a graph matching或者network flow，旨在最小化成对关联成本（a sum of pairwise association costs）。这一cost要么是手工的（hand-crafted），要么是作为固定特征的线性函数被学得。作者表明通过反向传播，为基于网络流的数据关联学习特征是可能的，方法是把一个平滑的网络流的优化问题表达成为一个成对关联成本（pairwise association costs）的可微函数。本文将这一方法用于拥有网络流公式的多目标跟踪方法中。实验结果表明，可以成功地以一种端到端的方式为关联的问题学习所有的cost function，这比手工设计的costs要好。各种输入的整合变得容易并且cost function能够完全从data中学习得到，这减轻了繁琐的手工设计成本。

本文提出可以以一种端到端的方式为数据关联问题的所有变量学习任意参数的cost function，如从输入数据到LP的解。本文方法不局限于对数线性模型，但是可以充分利用任意不同参数的函数来预测cost。本文方法可以被集成到任意深度学习框架中作为一个特殊层来解决前向传播和梯度反向传播时的线性规划的问题。

本文方法可以：

①为网络流问题，端到端地学习cost function。

②使不同类型的input sources（如边界框信息、时间差异、外观和运动特征）的集成变得容易，并且所有的模型参数可以通过联合学习得到。

③用端到端的方式学习cost function比手工设计的function要好，且无需人工调整参数。

④获得了很好的外观特征，表明了将物体检测和跟踪进行端到端的深入结合的益处。

Related Work：

①Association problems in MOT

在线和离线的方法。在线方法可以满足实时性的要求，而离线方法不能。不过离线方法（batch methods）的好处是可以获得the temporal context allowing for more robust and non-greedy predictions。这类方法的典型代表是Network flow.

②Cost functions

有一些方法手工设计cost functions，依赖于detection confidences和spatial(bbox differences) and temporal distances。而另一些方法是learn a affinity metrics,which are then used in their tracking formulation.

③Integrating inference into learning

之前，所使用的结构化SVM把cost function给局限到a linear parameterization中。而本文的方法依赖于bi-level optimization，且更加灵活，可以有非线性的像神经网络那样的cost functions。

总结：

本文工作阐明了如何以一种端到端的方式为网络流学习一个参数化的cost function，这样设计的好处在于灵活性。