Temporal Activity Detection in Untrimmed Videos with Recurrent Neural Networks

团队介绍

作者：

Alberto Montes, Amaia Salvador, Santiago Pascual, Xavier Giro-i-Nieto

作者都来自Universitat Politècnica de Catalunya (UPC)的一所西班牙大学，理工科挺强的，发表在NIPS workshop的一篇文章. 在ActivityNet Challenge 2016取得了不错的

动机

利用C3D[1]能捕捉短时间的空时特征，然后LSTM处理长时间的信息，Untrimmed Videos对进行分类和定位

框架

C3D首先在sports-1M上进行预训练，之后对预处理好的每16帧视频（相邻的视频片段没有交叉）离线提取时空特征，将这些固定的特征作为LSTM的输入，进行每一个片段的分类，每一类对应于一个动作类别（增加background作为一类）。作者在文中也探讨了不同深度，不同宽度的LSTM网络。发现1x512的最浅最窄的最好。The simplest is the best.

tricks

1. 对LSTM输出的概率进行均值滤波，使其更平滑，消除异常概率值
2. 为了应对背景数据较多的情况，在计算loss时候，给其相对较小的权重

思考改进

如果C3D和LSTM一起训练，微调C3D，重新训练LSTM，效果应该会好一点，但用于参数众多，也可能导致参数过多，导致过拟合

引用

1. D. Tran, L. Bourdev, R. Fergus, L. Torresani, and M. Paluri, Learning Spatiotemporal Features with 3D Convolutional Networks, ICCV 2015