动作识别之STIP(Space-Time Interest Point)（四）

读 G. Willems, T. Tuytelaars, and L. Van Gool. An efficient dense and scale-invariant spatio-temporal interest point detector. In ECCV, 2008.

     这篇文章提出了一种尺度不变的、密集的兴趣点检测器：Hessian detector，以及一种兴趣点描述器：Hessian descriptor。

Hessian detector

     作者使用Hessian矩阵构建时空兴趣点检测器，具体方法如下：

     (1)计算Hessian矩阵:

     

     (2)计算Hessian矩阵的行列式:

     

     (3)使S达到极大值的点即为时空兴趣点。

     然而由于正值的S并不能保证H所有的特征值都具有相同的符号。除了Blobs外，saddle points(鞍点)也能产生局部极大值。对于大多数应用，我们不关心检测到的点到底是blobs还是saddle points，只要他们能多次重复的被检测出来就行。如果一定要找到blobs，只需在后续处理中检查特征值的符号，并排出掉saddle points就可以了。

gamma-normalization 

     gamma-normalization：使用和，通过对gamma和lambda取不同的值，找到一个值，使显著性测量取得局部极大值，此时检测到的兴趣点的时空范围等于一些有意义的真是的尺度(例如高斯Blobs的大小)。

 在高斯blobs的中心点处有： 

     

 为了求极大值，计算关于和的微分，令之为0，代入条件，（等式左端项为局部极大值处的尺度，等式右端项为正确的尺度），可得p=5/2，q=5/4。

     p,q与Harris角点检验中对尺度做normalization的参数之间的关系为: p=2a+c，q=2b+d。对于这篇文章和Harris角点检验中使用的gamma-normalization都有:gamma!=1，这说明这说明了对于尺度选择来说，这种测量方法不是真正尺度不变的，所以不能用来在不同尺度上寻找局部极大值。

     作者采用以下的方法来获得真实尺度因子。

     (1)令p=2，q=1，即gamma=1，可得:

     ，

     (2)可见检测的尺度因子与真实的尺度因子只差一个系数，真实的尺度因子可以通过对检测的尺度因子乘以一个系数获得。

     由此得到尺度不变的、非迭代的获得兴趣点的方法：

     (1)在5D空间上计算局部最大值。

     (2)然后在每个兴趣点出乘以sqrt(3/2)来获得真实的尺度。

     这种方法的优点：

     (1)相比于Harris角点检验中迭代的方法，作者采用非迭代的方法，避免了计算过程中的收敛性问题。

     (2)能够通过改变显著性测量的阈值来提取任意数量的特征。

     为了对算法进行加速，作者在积分视频上使用了一种近似的box滤波操作。在时间空间尺度五个方向上，用非极大值抑制的方法求出兴趣点。

descriptor

     在每个兴趣点周围定义一个的长方体(s一般取3)，长方体被分为个bin(M、N分别为空间和时间的bin数)，在每个bin中存储，其中、、为Haar小波。

evaluation 

     作者采用k-means+SVM，得到在KTH数据集上的识别率为84.26%。