On the burstiness of visual elements

Hervé Jégou, Matthijs Douze, Cordelia Schmid, INRIA LEAR组，CVPR09，被引用次数：180
阅读时间：2015-04-09~10

文章揭示了图像集中存在大量多次出现的视觉元素，即重复模式。这样视觉元素会严重影响图像检索时的相似度计算，所以需要除去burstiness元素，文中提出了三种方法：

1. 移去多次特征点匹配；
2. 抑制图像内burstiness词的匹配得分；
3. 抑制图像间burstiness词的匹配得分。

Removing multiple matches

BOF方法中，query图像中的某一个关键点可能匹配到database中某张图的多个关键点，于是在累加inverted file时会多次得分，这样是不正确的。同样，database中某张图的一个关键点匹配到query图像中的多个关键点时，也是错误的。文中提出的策略为query的关键点仅单一匹配inverted file，选择最小Hamming Distance计算得分，且计算过的database图像关键点不再参与下次匹配。

Intra-image burstiness

某种模式在一张图像中多次出现（比如窗户）时，这样的点称之为intra-image burstiness。query图像中多个某个关键点匹配到database某张图一个关键点时，并不是强硬地删除该关键点，而是通过图像内的burstiness抑制手段：

tq(i,b)=∑j/q(yb,j)=q(xi)m(i,b,j)

这里xi表示query图像x的第i关键点，yb,j表示database图像b的第j关键点，通过inverted file能把q(yb,j)关联起来，公式表示对q(yb,j)的多个点（如果有多个的话）相似度值（idf2×exp(−h2dσ2)）求和。然后更新该关键点的相似度值

m(i,b,j):=m(i,b,j)m(i,b,j)tq(i,b)−−−−−−−−√

Inter-image burstiness

多幅图像中重复出现某种模式，其实已用idf权重抑制过了，但这仅考虑词频，没针对图像元素相似度的考虑。文中扩展了idf权重：

tb(i)=∑b∑jm(i,b,j)

表示query关键点匹配到database所有图像的得分和。然后更新该关键点的相似度值

m(i,b,j):=m(i,b,j)m(i,b,j)tb(i)−−−−−−−−√

Evaluation