开源视频检索技术VedioSearch调研
来源:互联网 发布:js更改input type 编辑:程序博客网 时间:2024/04/28 05:23
一、概述
1、开源地址:
https://github.com/andrefaraujo/videosearch
2、说明:
该视频检索技术是由斯坦福大学的一个图片视频和多媒体小组实现,使用图片对视频内容进行检索。
目前该技术包含的功能如下表述:
- 提取视频的关键帧(关键帧,其实就是视频中的一张图像)。 对视频进行镜头边缘检测。
- 对图片或者帧提取SIFT(尺度不变特征变换,用于在图像中检测出关键点,是一种局部特征描述子)。
- 为每张图片/关键帧、镜头或者视频片段 提取全局描述子(Fisher Vectors)。
- 使用Bloom Filters对每个视频片段进行索引。
- 使用图片对图片或者视频数据库进行检索。
- 用区间为0~1的平均精准度和精准度来评估检索结果。
二、检索技术实现步骤
1. 建立VLFET库(计算机视觉库)。
2. 建立YAEL库(图像检索库)。
3. 给视频数据库中的视频提取关键帧。(关键帧指的是视频中的图片。一个1分51秒的视频,关键帧有113张,一个2分51秒的关键帧大有173张,一分钟有60张左右)
4. 建立镜头边界检测器并且给数据库中的视频检测视频边界。
5. 建立SIFT(图像关键点)提取器并且给数据库中的每个关键帧提取SIFT。
6. 建立全局描述子提取器并且给每一帧、镜头和片段提取全局描述子。
7. 给用于查询的图片提取SIFT(或者全局描述子)。
8. 建立检索器,并且用它检索基于帧、基于镜头或者基于片段的索引。
9. 计算检索结果,得出平均精准度和精准度。
以上1~2步只需要最初始执行一次。之后如果往视频库中添加了视频想进行新的检索,则需要重复3~6步。如果未添加新的视频,新添加了想查询的图片,则需要重复7和9步。
三、一些专有名字的解释及资料
镜头边界检测:http://www.docin.com/p-240579569.html
SIFT:http://baike.baidu.com/item/SIFT
Fisher Vectors:http://blog.csdn.net/ikerpeng/article/details/41644197
Bloom Filters:http://blog.csdn.net/jiaomeng/article/details/1495500
VLFEAT:http://www.vlfeat.org/
YAEL:http://yael.gforge.inria.fr/
Opencv:http://baike.baidu.com/item/opencv
ffmpeg:http://baike.baidu.com/item/ffmpeg
四、自行的测试结果
该技术环境在ubuntu.14.04上面搭建成功,并且按照demo指示,测试通过。但是还不太会用….
- 开源视频检索技术VedioSearch调研
- 视频有关“技术调研”
- 实时视频通信技术调研
- 关于视频传输系统开源框架的调研结果
- 视频浓缩摘要技术和视频分类检索技术
- 视频检索技术不断升级提升
- 视频通信与直播方面的技术调研
- 云端开源⾼性能技术架构调研分析报告
- 技术调研
- 视频检索
- 视频检索
- 开源搜索引擎调研
- 调研:开源搜索引擎
- 调研:开源搜索引擎
- 调研:开源搜索引擎
- 【Machine Learning】基于语义的图像检索视频技术
- 视频通话初步调研
- 视频播放器调研
- 欢迎使用CSDN-markdown编辑器
- Android实现类似于PC中的右键弹出菜单效果
- Hanlder异步消息自总结
- js倒计时一分钟
- 每天一个算法之是否为后续遍历序列
- 开源视频检索技术VedioSearch调研
- Android Studio 使用起来很卡,内存CPU爆了
- 使用NuGet安裝Entity Framework 4.2
- 大二第一学期的总结
- 三种高效解析xml方式
- JSon解析 + 数据模型
- Android.mk简介
- 【Android】android AsyncTask介绍
- win7 64位Ultimate 英文系统中,使用CAJViewer 7.2的方法