论文阅读-《Speed/accuracy trade-offs for modern convolutional object detectors》
来源:互联网 发布:淘宝融合期 编辑:程序博客网 时间:2024/06/10 23:38
Google Research
开源code/model地址:https://github.com/tensorflow/models/tree/master/object_detection
0.abstract
本文主要对主流的三类object detector进行了speed-accuracy trade-off上的比较。
作者考虑三类”meta-architectures”:faster rcnn 、r-fcn以及ssd
faster rcnn和r-fcn是region-based detector,不同的是,faste rcnn里面box classifier用的是强分类器,而r-fcn里面的box classifier相对可以看成弱分类器的组合。
ssd(这里包括了yolo等)是region-free detector
作者主要探讨了不同的feature extractor、image resolution、以及对于faster rcnn和r-fcn来说,number of proposals对检测器性能(精度、速度、内存使用)的影响
1.Motivation & contribution
目前主流的目标检测框架缺乏相互之间各方面的对比,因此作者在tensorflow上将各个主流的检测算法都实现了一遍,用来对比不同检测算法,当然这里对比的都是各个算法的single model,也就是说不使用ensemble。
作者主要的两点发现是:
1.使用较少的proposal可以大大加快faster rcnn的速度,同时对精度的影响不大;
2.SSD性能受feature extractor的影响没有其他两种框架大。
2.Meta-architecture
SSD结构,region-free / single shot
faster rcnn结构:region-based / 每一个proposal需要经过后面的sub-network
R-FCN结构:region-based / feature map经过一次sub-network,每一个proposal通过ps roi-pooling即可得到预测量
3.Architecture configuration
3.1feature extractor
作者主要选择了6种常用的feature extractor:vgg16/resnet-101/inception-v2/inception-v3/inception resnet-v2/mobilenet
下图表示各个feature extractor在imagenet上的精度和参数的数目
3.2number of proposals
对于faster rcnn和r-fcn,原论文都是选择300个proposal进行实验。作者在本论文中将proposal的数目在10到300取值进行实验。
3.3output stride setting
对于resnet和inception resnet,output stride可以设置为16和8
3.4loss function
所有实验模型的loss function都是采用smooth L1 loss
3.5input size configuration
训练的时候每一个模型都训练一个high-resolution版本和low-resolution版本
对于Hi re:设置短边为600
对于Lo re:设置短边为300
3.6traing and hyperparameter tuning
对于原版的faster rcnn和r-fcn,作者用的是4-stage training strategy,在本文中,作者用end-to-end的方式训练所有的模型
另外,作者将faster rcnn和r-fcn中的roi pooling替换成了crop_and_resize层(用双线性插值的方法将proposal resample到fixed size)
3.7benchmarking procedure
测试图片需要将短边resize到300或者500,测试时间是在500张图上的平均,内存占用是在3张图片上取平均;
测试集为COCO,标准为MAP@IOU[0.5:0.05:0.95]
4.Results
4.1accuracy vs time
一般来说,ssd和r-fcn要快一些,faster rcnn慢一些但是精度会更高。上图的虚线表示了最优的折衷边界,曲线的走势说明精度的提升只能靠牺牲速度。
可以看到:
最快的模型应该是SSD w/MobileNet Lo Res
较好的speed/accuracy折衷是 faster rcnn w/Resnet Hi res 50 proposals和R-FCN w/Resnet Hi Res 100 proposals.
精度最高的是faster rcnn w/Inception resnet Hi res 300 proposals output_stride=8
4.2 the effect of feature extractor
对于faster rcnn和r-fcn,一般来说,feature extractor在classification teask上的准确率越高,对应的detector的performance越好,对于SSD来说,对feature extractor的性能不那么敏感。
4.3the effect of object size
可以看到的是,所有的模型在大的目标上的检测效果都很好,SSD在小目标的检测效果上明显要比faster rcnn和r-fcn系列要差。
4.4the effect of the number of proposals
横轴表示proposal的数量,实线表示mAP,虚线表示GPU time。可以看到,对于faster rcnn来说,可以在不怎么损失mAP的情况下,减少proposal的数量,从而提高速度。
但是对于r-fcn来说,减少proposal的数目并不能得到更好的speed-accuracy trade.
这是因为r-fcn把原来faster rcnn的roi pooling移到了网络的最后一层,这样所有proposal的计算量就大大减少了,降低proposal的数目对速度的影响也就不大。
4.5memory analysis
不同模型的GPU内存占用量,实现表示使用不同数目的proposal带来的variance。
4.6
作者在实验中还发现,mAP@0.75和常用的COCO指标mAP@[0.5:0.95]高度相关,因此,在0.75IOU下表现好的模型,在所有的IOU阈值下的表现应该也都不错。
4.7state-of-art performance on COCO
最后,作者将实验中几个表现较好并且相互之间比较互补的模型ensemble起来,得到了state-of-art的性能。
- 论文阅读-《Speed/accuracy trade-offs for modern convolutional object detectors》
- Speed/accuracy trade-offs for modern convolutional object detectors
- Speed/accuracy trade-offs for modern convolutional object detectors
- Speed/accuracy trade-offs for modern convolutional object detectors
- 论文笔记之---Speed and accuracy trade-offs for modern convolutional object detectors
- [论文笔记]Speed/accuracy trade-offs for modern convolutional object detectors
- READING NOTE: Speed/accuracy trade-offs for modern convolutional object detectors
- 目标检测“Speed/accuracy trade-offs for modern convolutional object detectors”
- 论文:Speed/accuracy trade-offs for object detectors
- object_detection API论文Speed/accuracy trade-offs for...的详细中文翻译
- Incremental Learning of Object Detectors without Catastrophic Forgetting 论文阅读
- 论文阅读-《Deformable Part-based Fully Convolutional Network for Object Detection》
- 论文研读--LocNet: Improving Localization Accuracy for Object Detection
- 论文阅读笔记:Object Detection Networks on Convolutional Feature Maps
- 论文阅读-《Object Detection Networks on Convolutional Feature Maps》
- 论文阅读-《Training Region-based Object Detectors with Online Hard Example Mining》
- 论文阅读-《Ensemble of Part Detectors for Simultaneous Classification and Localization》
- 论文阅读笔记:Fully Convolutional Networks for Semantic Segmentation
- io流-文件拷贝
- 正则表达式
- angularjs 组内自定义require指令在时间输入框中引用时出现的问题及排查
- 在Android 7.0上PopupWindow.showAsDropDown不起作用的解决方法
- nginx 基本入门
- 论文阅读-《Speed/accuracy trade-offs for modern convolutional object detectors》
- Object-C GCD
- 如何针对多项目切换jdk版本
- Android之intent学习笔记
- 跟高手学习大型项目的应对(下)
- google hack 寻找后台的文件名和关键字(以asp为例)
- Cookie和Session机制
- 以太坊防篡改验证的交流
- E. Beautiful Subarrays