YouTube-8M 数据集简介
来源:互联网 发布:jquery 创建对象数组 编辑:程序博客网 时间:2024/04/30 15:51
Preface
Google 公布了一个大型的视频数据集:YouTube-8M 视频数据集(项目主页地址),这个数据集的 Technical Report 在 arXiv 上也挂出来了:YouTube-8M: A Large-Scale Video Classification Benchmark。
本文是对 Google 对这个数据集介绍的博文:Announcing YouTube-8M: A Large and Diverse Labeled Video Dataset for Video Understanding Research 的一个总结归纳,
Introduction
这个数据集包含 8,000,000 万个 YouTube 视频链接,这些视频集进行了 video-level(视频层级) 的标注,标注为 4800 种 Knowledge Graph entities(知识图谱实体)。
这次公布的 YouTube-8M 数据集相比较于之前公布的数据集:YouTube-1M,又是一次的大提升。之前的 YouTube-1M 是包含 500 种体育项目的 YouTube 视频数据集,包含 1,000,000 个视频链接。
Characteristic
这个的数据集的特点如下:
8 Million video URLs
为了保证数据集的质量,在选取视频时,做了一些限制:
- 每一个视频都是公开的,且每个视频至少有 1000 帧
- 每一个视频的长度在 120s 到 500s 之间
- 每一个视频至少与一个 Knowledge Graph entities(知识图谱实体)相联系
- 成人视频由自动分类器移除
0.5 Million Hours of video
数据集中视频超过了
所以为了减小存储开销与计算时间开销,Google 提供了 pre-computed and compressed features,这样的话就可以在单台机子上一天内完成模型的训练。
1.9 Billion Frame Features
同时,已经用在 ImageNet 上训练得到的 Inception-V3 image annotation model 提取了这些视频的 frame-level、video-level 特征。
这些特征是从 1.9 Billion 视频帧中,以每秒 1 帧的时间分辨率进行提取的。之后进行了 PCA 降维处理,是最后的特征能够存储在一张硬盘中(小于 1.5T)。
4800 Classes
这些视频被标注的 annotation vocabulary 包含 4800 个 Knowledge Graph entities(知识图谱实体)。
每一个 entity 至少有 120 个训练视频,平均每个 entity 有 2229 个训练视频。annotation 的定义方式参照 YouTube Data API。
其中最多的一个 entity 是 Vehicle,超过了 500K 个训练视频;拥有最少视频的 entity 是 Somersault,只有 120 个视频。
4800 个 entity 被分为 24 种 frequent,最高 frequent 的是 Arts & Entertainment,超过 2,800,000 个训练视频。最少 frequent 是 Finance,小于 14,000 个训练视频。
这里,所谓的 24 top-level verticals,详情可以参考 Youtube-8M 主页中的这个 Explore 页面:dataset browser,如下图:
具体的,如 Arts & Entertainment 这类,其 Entity 如下:
另外,关于数据集的具体的 labels,其归属的 Vertical,对应的 KnowledgeGraphID,可以参加这个 CSV 文件:train-labels-histogram:
1.8 Avg.Labels/Video
每个视频平均有 1.8 个 labels,这些 ground truth labels 来自于 Youtube data API,根据视频的 content、metadata、contextual、user signals 对每个视频进行 annotation。
每个视频的 label 个数从 1 到 39,平均每个视频有 1.8 个 labels。大约有
Postscripts
上面只是我对这个数据集的一点翻译式的记录描述,使用时具体的详情,请参见 Google 对这份 YouTube-8M 的 Technical Report: YouTube-8M: A Large-Scale Video Classification Benchmark
- YouTube-8M 数据集简介
- YouTube-8M 数据集介绍与使用总结
- YouTube-8M: A Large-Scale Video Classification Benchmark
- 【分享】YouTube随机抽样用户数据集
- Hive实战之Youtube数据集
- SparkSQL实战之Youtube数据集
- MapReduce 分析 Youtube 数据
- YouTube
- YouTube:
- YouTube
- YouTube
- YouTube
- Moxielens 1M数据集
- MacroSoft数据集MS-Celeb-1M
- MacroSoft数据集MS-Celeb-1M
- 多维数据集简介
- free -m 查看内存简介
- free -m 查看内存简介
- fragment与activity间的通信(一)
- Android笔记二十四.Android基于回调的事件处理机制
- 为IT程序员量身定制的12个目标——很经典
- for循环点击
- Android事件分发机制完全解析,带你从源码的角度彻底理解(上)
- YouTube-8M 数据集简介
- Android笔记二十八.Service组件入门(二).绑定本地Service并与之通信
- fragment与activity间的通信(二)
- 针对MSVC4-6的解决方案
- Unity第一人称控制脚本解析
- 舟山旅行攻略
- 动态规划
- shell定义的变量环境
- 跳石板 札记