动作识别之STIP(Space-Time Interest Point)（六）

来源：互联网发布：剑灵灵女最美捏脸数据编辑：程序博客网时间：2024/06/06 05:23

转载出处：http://blog.csdn.net/jyfan91/article/details/43374687

读 P. Scovanner, S. Ali, and M. Shah. A 3-dimensional SIFT descriptor and its application to action recognition. In ACM International Conference on Multimedia, 2007.

这篇文章将2D SIFT descriptor扩展到了3D，提出了3D SIFT descriptor。

Orientation Assignment

作者采用随机采样的办法得到兴趣点。

首先计算每个兴趣点出的梯度：

$L_{x}:L(x+1,y,t)-L(x-1,y,t)$

$L_{y}:L(x,y+1,t)-L(x,y-1,t)$

$L_{t}:L(x,y,t+1)-L(x,y,t-1)$

然后计算梯度的模长和角度（经纬度）。

$m_{3D}(x,y,t)=\sqrt{L_{x}^{2}+L_{y}^{2}+L_{t}^{2}}$

$\theta (x,y,t)=tan^{-1}(L_{y}/L_{x})$

$\phi (x,y,t)=tan^{-1}(L_{t}/\sqrt{L_{x}^{2}+L_{y}^{2}})$

用均分Theta和Phi的方法得到直方图的bin。用每个bin的面积 $\omega$ 对 $m_{3D}$ 作归一化，得到加权梯度直方图。

$\omega =\Delta \phi (cos\theta-cos(\theta+\Delta \theta) )$

$hist(i_{\theta },i_{\phi })+=\frac{1}{\omega }m_{3D}({x}',{y}',{t}')e^{-\frac{((x-{x}')^{2}+(y-{y}')^{2}+(t-{t}')^{2})}{2\sigma ^{2}}}$

其中 $(x,y,t)$ 为兴趣点坐标， $({x}',{y}',{t}')$ 为将要统计的像素点的坐标。

统计直方图的峰值代表主方向。

Descriptor Representation

旋转兴趣点周围的点的坐标，使得主方向的参数为 $\theta =\phi =0$ ，即每点的坐标 $(x,y,t)$ 乘以以下矩阵：

$\begin{bmatrix} cos\theta cos\phi & -sin\theta & -cos\theta sin\phi \\ sin\theta cos\phi & cos\theta & -sin\theta sin\phi \\ sin\phi & 0 & cos\phi \end{bmatrix}$

在每个子区域内计算子方向直方图，最后把所有的子方向直方图串联起来，得到最终的的descriptor。

0 0