Video Acceleration Magnification

Abstract

    放大或者减小图像随时间的微小变化的能力在如视频编辑，医学视频分析，产生高质量的控制和运动等上下文场景中有很大作用。在这些上下文场景中，存在有这样的问题，大位移的存在会严重的扭曲当下的线性的视频放大方法。在这工作中，我们提出一种方法用于处理大的位移同时依然放大小的变化。我们作出以下两个观测：i)大位移在微小变化的时间尺度上是线性的；ii)小变化并不具备这种线性特点。我们忽略线性移动然后建议放大加速度。我们的方法是纯欧拉的，并不需要任何的光流，暂时的对准或者区域注释。我们在空间加速度放大上使用时间的二阶导数滤波。我们在移动物体上应用我们的方法，展示动作放大和颜色放大。在和当前最先进方法比较时，我们为我们的方法提供定量和定质量的证据。

Introduction

   只有在运动时，动态目标的重要性质才会变得清晰 。比如飞行中的无人机的机械稳定性，正在做运动的运动员的肌肉，或者一个在运动中的帕金森病人的震动。在这些情况中，感兴趣的性质并不会在静止时不会出现。重要的性质是只有发生在运动过程中的小变化。
   很难被裸眼观测到的微小的时间上的变化可以被令人印象深刻的视频放大的算法增强。这些方法的优势是源于使用欧拉的运动分析而非拉格朗日运动分析。拉格朗日方法使用了昂贵的并且自身也是一个尚未解决的研究课题的光流。而欧拉的运动放大方法在目标和摄像头保持静止的情况下如放大血流、心跳和小呼吸等情况下，给出了出色的结果。不幸的是，这些方法在运动目标上是失败的，因为大的位移淹没了小的时间上的变化。
   一个有用的处理大运动的视频放大技术由Elgharib等研发出来。它提供了欧拉和拉格朗日方法的一种融合。通过人工地选择放大区域，这些区域可以用拉格朗日的方法跟踪，然后暂时的使用一个单应矩阵进行对齐。对齐以后，标准的欧拉放大方法可以被应用，产生阿訇的放大结果。这种方法的一个缺点是，感兴趣的区域需要人工的选择，这是费时的而且容易出错的。并且，拉格朗日区域跟踪是昂贵的，对遮挡和三维旋转敏感的。再者，对齐是以单应性矩阵存在为假设前提的，这对于一个非静止的摄像机和非平面的目标而言通常是不正确的。这里有需要改进的空间。
   在这文章里，我们提出在大运动存在情况下用于小变化的视频加速度放大。我们的方法不需要人工的区域标注跟踪或者区域的对准。作为替代，我们的方法比较接近朴素简洁的原始欧拉方法。我们观察到，在小变化的规模下，大运动是典型线性的。通过仅仅放大线性运动的小的导数，我们达到加速度放大的效果。
   这篇文章的贡献有以下这些方面：1)我们提出一个用于在大运动存在情况下放大小的变化的纯欧拉的方法。2)我们展示了一个二阶时间导数滤波器和空间加速度放大之间的关系。3)我们给出实用的见解和我们方法成功失败的分析。4)我们出色的相关视频放大基于观察输出质量和一个定量评价。