【学习笔记--视频拼接】如何提高计算效率 part_1

学习paper:

“Fast stitching of videos captured from freely moving devices by exploiting temporal redundancy”
                             by M. El-Saban, M. Izz and A. Kaheel, 

影响视频拼接的关键问题：时间冗余、拼接中特征检测匹配占用时间超过80%

解决方法：利用temporal information减少计算时间  

输入：2路 相机位置自由移动

提高计算效率的三种方法：

（1）利用前帧的重叠区域

（2）使用Motion vector计算变换

（3）跟踪前帧的感兴趣点(Interest Points)

将当前帧标记为n，之前的帧标记为n-1

 （1）当前帧的特征检测在与前一帧的重叠区域内进行  缓冲区大小20pixel（经验 

            值）。效率与重叠区域大小成反比。

  （2）基本思想：使用IP（感兴趣点）的全局运动估计，降低新的变换矩阵的计算。

            用匹配对计算motion vector改进：

                a)使用第一帧计算motion vectors，用于其他帧

                b)限制创建的描述子数目

  

    参考： “A Fast Video Stitching Method for Motion-Compensated Frames in  Compressed Video Streams”

（3）使用光流法 追踪IPs（Interest Points）

         目的：减少IP检测与描述

         方法：使用LK光流法跟踪N-1帧，得到N帧的location，利用背景信息得到更稳定的拼接。

         IP滤波：通过计算所有IP的2D运动参数的平均，然后删除落在dxdy均值2σ外的IP， 得到2D全局运动（dx,dy）

          缺点：忽视光照、3D视点的变化

 

实验结果：

比较recall值与precision值。SURF+Optical Flow的效果最好。

                                                   那么什么是recall与precision呢？

参照：http://blog.csdn.net/pirage/article/details/9851339

应用于这里，我的理解是：   

recall（查全率）：被检测到的有效特征越多查全率越高

precision（准确率）：准确的配准的特征点对的越多，这是追求“准确率”

错误分析：

这篇paper里的拼接错误分为两大类：recall-type 和  precision-type 

（1）recall-type

     a) 几何校准（geometric alignment）：重叠区域小、纹理细节不够、相机间3D视点变化、压缩失真等

     b) 融合错误：超过总错误率的30% ，采用融合方法为FEATHER

 （2）precision-type 

     少(<5%)    匹配对中存在相似的特征