动作识别之STIP(Space-Time Interest point)（七）

来源：互联网发布：剑灵灵女最美捏脸数据编辑：程序博客网时间：2024/05/22 05:33

转载出处：http://blog.csdn.net/jyfan91/article/details/43458565

读 A. Kläser, M. Marszałek, and C. Schmid. A spatio-temporal descriptor based on 3D-gradients. In BMVC, 2008.

这篇文章将2D HOG descriptor扩展到了3D，提出了3D HOG descriptor。

Space-temporal descriptor

1. Gradient computation

用积分视频计算平均梯度向量： $\mathbf{\overline{g}_{b}}=(\overline{g}_{\mathbf{b}\partial x},\overline{g}_{\mathbf{b}\partial y},\overline{g}_{\mathbf{b}\partial t})^{T}$ 。其中：

$\tiny \overline{g}_{\mathbf{b}\partial x}=[iv_{\partial x}(x+w,y+h,t+l)-iv_{\partial x}(x,y+h,t+l)-iv_{\partial x}(x+w,y,t+l)+iv_{\partial x}(x,y,t+l)]-[iv_{\partial x}(x+w,y+h,t)-iv_{\partial x}(x,y+h,t)-iv_{\partial x}(x+w,y,t)+iv_{\partial x}(x,y,t)]$

积分视频为：

$iv_{\partial x}(x,y,t)=\sum_{{x}'\leqslant x,{y}'\leqslant y,{t}'\leqslant t}v_{\partial x}({x}',{y}',{t}')$

2.Orientation quantization

用正十二面体或正二十面体做量化，将 $\mathbf{\overline{g}_{b}}$ 投影到每个面的中心，得到统计直方图 $\mathbf{\overline{q}_{b}}$ 。

3.Histogram computation

将Cubiod分成 $S\times S\times S$ 个subblock $\mathbf{b_{i}}$ ，在每个subblock中计算 $\mathbf{\overline{q}_{b}}$ 。计算可得cuboid的统计直方图：

$\mathbf{h_{c}}=\sum_{i=1}^{S^{3}}\mathbf{q_{b_{i}}}$

4.Descriptor computation

将采样点S周围的region分成 $M\times M\times N$ 个cell，每个cell内计算 $\mathbf{h_{c}}$ ，将所有cell内的 $\mathbf{h_{c}}$ 串联起来构成最终的特征向量 $\mathbf{d_{s}}$ 。

Experiments

采用Harris Detector + K-means + SVM得到在KTH数据集上的识别率为91.4%，在Weizmann数据集上的识别率为84.3%，在Hollywood数据集上的识别率为24.7%。

0 0