视频中的运动特征--Learning Motion Patterns in Videos
来源:互联网 发布:问道源码大全 编辑:程序博客网 时间:2024/06/01 08:13
Learning Motion Patterns in Videos
CVPR2017
Torch code: http://thoth.inrialpes.fr/research/mpnet
本文要解决的问题是 determining whether an object is in motion, irrespective of camera motion,
注意这里的相机是可以运动的,如果相机不动,则问题比较简单。相机运动则问题就比较复杂了。
示意图如下:
人工合成的 FlyingThings3D dataset
相邻两帧图像,相机是运动的,有几个运动的物体,我们希望可以将运动的物体分割出来
3 Learning Motion Patterns
Our MP-Net takes the optical flow field corresponding to two consecutive frames of a video sequence as input, and produces per-pixel motion labels.
本文使用一个 CNN网络,输入相邻两帧图像的 光流场,输出每个像素的运动与否标签
In other words, we treat each video as a sequence of frame pairs, and compute the labels independently for each pair.
我们每个图像对的计算是独立,将视频看作由每个图像对组成
3.1. Network architecture
我们的任务是将光流场中具有不同的运动模式区分出来,使用CNN网络完成。这需要一个大的感受野,输出的尺寸需要和输入的图像尺寸一样大小。一个大的感受野对于将 context 信息包含进模型中是至关重要的。小的感受野没法区分是物体的运动还是相机的运动。
网络的结果和语义分割中的结构还是很相似的,本质上是一样的。
3.2. Training with synthetic data
我们使用合成的数据库 FlyingThings3D dataset 来训练CNN网络
4.2. Refining the segmentation
We use a fully-connected CRF 后续处理分割结果
不同的输入信息
不同的组合
DAVIS上的比拼
BMS-26
- 视频中的运动特征--Learning Motion Patterns in Videos
- Motion Tracking in Unity Unity中的运动追踪
- 视频运动motion vector获取。
- 视频分割--Learning to Segment Instances in Videos with Spatial Propagation Network
- 人体检测HOG特征 Finding People in Images and Videos
- READING NOTE: Learning to Segment Moving Objects in Videos
- CV | Semantic Co-segmentation in Videos 视频协同语义分割
- 视频中的特征识别
- In-depth introduction to machine learning in 15 hours of expert videos
- HTML 视频(Videos)
- 运动模糊 motion blur
- Motion Parallax运动视差
- Encoding videos in H264
- S. M. Ali Eslami / Patterns for Research in Machine Learning
- Think in Patterns 中的 Decorator模式
- Storing Videos in the Photo Library(储存视频至手机)
- 视频动作识别--Two-Stream Convolutional Networks for Action Recognition in Videos
- 视频跟踪分割运动中的物体
- Struts2访问ServletAPI方法
- swiper使用时在loop下如何获取当前的索引值
- UI设计师应掌握的知识体系以及职业规划
- Python3.6 安装jpype1 遇到的一些坑以及最后安装jpype1成功的解决方法,不得不说
- BigDecimal和DecimalFormat
- 视频中的运动特征--Learning Motion Patterns in Videos
- call,apply,bind的区别
- 电脑上虚拟打印机如何将word转jpg
- LeetCode 16. 3Sum Closest
- autodesk backburne卸载问题
- sqlite基础一
- Dubbo与Zookeeper、Spring整合和使用
- ScrollView反弹效果 仿小米私密短信效果 android布局可滚动
- python遍历目录文件