视频物体分割--One-Shot Video Object Segmentation
来源:互联网 发布:重庆知行卫校 编辑:程序博客网 时间:2024/06/08 05:09
One-Shot Video Object Segmentation CVPR2017
http://www.vision.ee.ethz.ch/~cvlsegmentation/osvos/
One-Shot Video Object Segmentation,基于单帧标记的视频物体分割,对于一个视频中的某一个物体,我们只提供一张训练样本,怎么把视频里所有的该物体分割出来?
上图第一张图像是标记样本,其他的图像是分割的结果。
这里我们使用CNN网络来完成上述任务
One-Shot Video Object Segmentation (OSVOS) 算法总体的思路如下:
先在 ImageNet 训练一个图像分类模型,得到的网络称之为 Base Network,接着我们 在 DAVIS 训练一个分割网络,得到 Parent Network,最后我们在目标视频上微调,得到 Test Network。前两个网络的训练都是 offline, 最后一个网络的训练是 online
这个online 时间越长效果越好
3 One-Shot Deep Learning
对于单张训练样本的问题,人是怎么解决这个问题的了? we leverage strong priors: first “It is an object,” and then “It is this particular object.”我们的算法也是采取这个思路,循序渐进的解决这个问题。
3.1. End-to-end trainable foreground FCN
这里我们采用了一个 语义分割网络,参考文献【30】,基于 VGG模型。就是上图的 foreground branch,对于 这个分割网络的损失函数,我们参考文献【51】的 pixel-wise cross-entropy loss,同时了采取了文献【51】解决 imbalance between the two binary classes 的方法。
这个前景分割主要是判断物体的有无和大致位置,不能给予精确的边界位置信息,这里我们又加入了 contour 信息,
边缘检测CNN网络的训练完全是离线的, train the contour branch only offline
有了边缘信息,我们使用这些边缘信息来得到精确的物体分割,
the use of the Fast Bilateral Solver (FBS) [2] to snap the background prediction to the image edges
DAVIS Validation
Qualitative results
Youtube-Objects evaluation
更多的训练样本
Extended version of “One-Shot Video Object Segmentation”, CVPR 2017
Video Object Segmentation Without Temporal Information
extract the semantic instance information from instance-aware semantic segmentation algorithms (we experiment with two top-performing methods:
MNC [9] and the most recent FCIS [34]). We modify the algorithm and the network architecture to select and propagate the specific instances we are interested in, and then we adapt the network architecture to include these instance inside the CNN
- 视频物体分割--One-Shot Video Object Segmentation
- 视频物体分割--One-Shot Video Object Segmentation 2017年cvpr
- OSVOS(One-Shot Video Object Segmentation)论文笔记
- Fast object segmentation in unconstrained video——非限制场景快速视频对象分割 原文翻译
- Video Object Segmentation
- 分割候选区域--FastMask: Segment Multi-scale Object Candidates in One Shot
- CV | Feature Space Optimization for Semantic Video Segmentation - 基于特征空间优化的视频语义分割
- 视频前景物体分割
- SeamSeg: Video Object Segmentation using Patch Seams
- video shot
- 【论文笔记】视频物体检测(VID)系列 FGFA:Flow-Guided Feature Aggregation for Video Object Detection
- Html 视频 object ,embed,video
- 物体分割--Deep Watershed Transform for Instance Segmentation
- Key-Segments for Video Object Segmentation-ICCV 2011
- SeamSeg: Video Object Segmentation using Patch Seams调通过程大览
- 视频跟踪分割运动中的物体
- 视频中前景背景物体分割
- One-shot Learning
- 图片和视频的价值比什么都重要
- 大数据不是随便说说,京东云要“格数致知”
- [2].Spark 学习笔记 使用java ---PageRank
- 4万人的云栖大会都被锐捷网络拿下,还有什么不能做的?
- hdu 2680 Choose the best route
- 视频物体分割--One-Shot Video Object Segmentation
- Log4j 2 + Slf4j 的配置和使用
- pt-diskstats使用
- Windows 常用消息大全
- Spring事物详解
- 重复一万遍:我不是媒体人,别来找我!
- Docker安装应用(CentOS 6.5_x64)
- html之如何让多个并列的div居中显示
- Scala 之 可边长参数 与 通配符