读 《Semantics-aware Visual Localization under Challenging Perceptual Conditions》

今日读由Tayyab Naseer, Gabriel L, Oliveira Thomas,Brox Wolfram Burgard四人合著的《Semantics-aware Visual Localization under Challenging Perceptual Conditions》。

主要一个亮点是 利用了有Up-convolutional的FAST-Net. 得到了一个结合 突出区域的特征和现有的全局描述 形成的新的更鲁棒的场景描述子，使得长时间的用以机器人位置定位的视觉导航方法，在动态环境下更鲁棒。

up-convolutional Networks 这种结构 可以在分类网络中利用概率对每一个分类赋予权重，准确来说，对于“geometrically stable image region”才是作者focus的（本文主要针对的是雨雪天气以及其他动态的因素影响下的视觉定位）

本文的主要几点贡献：

“ – We present a learning approach for robust binary segmentation and feature aggregation of deep networks.

– We show that our method outperforms off-the-shelf features from deep networks for robust place recognition over a variety of datasets. Our approach runs online   at 14 Hz on a single GPU.

– We present a coarsely labeled dataset for semantic saliency in dynamic and perceptually changing urban environments which captures long-term weather,                  seasonal, and structural changes.”

“We labeled all the potentially non-stableregions of the training images as non-discriminative. These regions correspond to objects which change over different perceptual conditions, e.g., roads, sky, trees and the mercurial objects, like people, vehicles etc. We also labeled all the geometrically stable structures in the scene as discriminative regions.”

“we extract deep features from our segmented and original images and aggregate them to form a robust scene descriptor.”

关于FAST-Net  这个网络的设计出发点是实现实时的语义分割并且还能保持比较好的区分效率。网络的主要三个特性即使 层次的细化 识别 和对于up-convolutional结构的计算出现瓶颈时的压制（suppress）。细化的步骤主要是 对于对于低分辨的分割掩码的上采样和卷积 以及利用前的池化层进行融合 最后得到一个更高分辨率的输出。

对于输出的特征维度过高，采用的是稀疏随机投影（想到另外一篇的GRP，也许在神经网络之类的描述子降维 更倾向于RANDOM PROJECTION?? J-L大法好.....。不过还有看过一篇用的是hash。）匹配用的是余弦距离（好像也是个大家喜欢用的。。。）

先随便写写吧  这篇文章暂时过了 希望接下来用得到

参考文献：《Semantics-aware Visual Localization under Challenging Perceptual Conditions》,Tayyab Naseer, Gabriel L, Oliveira Thomas,Brox Wolfram Burgard.