automobile 3D目标检测学习

2017.4.8

最近参加了didi和UDACITY举办的无人驾驶算法大赛，对车辆在行驶过程中的车辆和行人目标进行检测，和我之前做的目标检测不同，这次的目标检测需要的是移动物体的目标检测，也就是说，需要在视频中对移动物体的环境信息进行量距和地图构建，确定出视频中移动物体和目标的运动情况，对检测的车辆和行人目标，需要框出目标的三维bounding box和方位信息，所以这也比之前所做的目标检测要复杂的多，因为要考虑到多个传感器信息的融合。在传统的2D目标检测中，只需要对通过camera对视频图像信息进行检测即可，不需要给出物体的距离信息和物体的三维参数，而在3D目标检测中，就需要通过camera、laser scanner、GPS等传感器的信息进行融合，这也是解决3D目标检测的核心问题。

由于比赛是基于KITTI数据库，所以benchmarks也是基于CVPR2012年的一篇论文来定的，Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite。

在benchmarks选择上，该数据库的评估采用了多样的度量方法，针对不同的任务有不同的度量策略。

对于立体光流（ stereo and optical flow）的benchmarks:

评估的方法是根据Disparity和终点误差（ end-point error）的像素错误的平均值，文章采用了 disparity/end-point error阈值τ ∈ {2,..,5}px作为benchmarks， τ = 3px作为需要考虑进行校准和激光测量误差的默认值。

对于视觉量距（visual odometry）/即时定位与地图构建（SLAM）:

如果采用基于轨迹断点误差可能会引起误解，因为这个测量方式很大程度取决于误差发生时的时间点，例如，早期的旋转误差通过一系列操作导致了更大的端点误差。论文中给出了2个延伸方法，而没有采用将旋转误差和平移误差组合成一个单一的度量。因此，我们评估误差采用一个轨迹长度和速度函数，度量函数如下：

F是一组帧（x,y）， ˆ p和p由估计和真实相机分别给出， ⊖代表了逆算操作， ∠[·]是旋转角度

对于3D目标检测和方向评估：

评估主要分为三个部分，我们评估2D目标检测的分类指标通过采用已经建立的准确率测量方式，在迭代开始后，检测和真实bounding box有最大重叠的bounding box，测量和真实bounding box的交并比值。我们要求和真实样本重叠率超过50% 的作为真正样本（TP），相同目标的其他检测的样本作为假正样本（FP）。我们评估目标检测和3D定位联合的成绩通过一种称为平均方向相似度（ average orientation similarity，AOS）的新型方法。公式为：

这里的r=TP/（TP+FN）是PASCAL中的召回率，如果检测的bounding box 重叠率超过50%，我们就定义为这个样本检测是正确的（TP）。方向相似度s=[0,1]在召回率变量归一化后根据余弦相似度求得：

其中，D（r）表示在召回率r下所有的检测目标，∆ 是对目标i在估计方位和真实方位之间的差值。 我们设定δ i=1，如果在检测i分配了一个真实bounding box（至少重叠50%），如果检测没有分配的话，我们设定 δ i = 0。最后，我们依据平均方向相似度评估分类任务和回归任务（连续定位）性能。

传感器矫正：

这一部分内容抽空在写~目前不是我工作的重点~