【Person Re-ID】常用评测指标
来源:互联网 发布:特价机票全额退款 知乎 编辑:程序博客网 时间:2024/06/06 16:53
言
最近在研究person re-id相关的算法,在不少论文中遇到相关的评测指标,例如mAP、CMC、ROC等,这里做一下总结。
ROC
ROC曲线是检测、分类、识别任务中很常用的一项评价指标。曲线上每个点反映着对同一信号刺激的感受性。具体到识别任务中就是,ROC曲线上的每一点反映的是不同的阈值对应的FP(false positive)和TP(true positive)之间的关系。
通常情况下,ROC曲线越靠近(0,1)坐标表示性能越好。
CMC
CMC曲线是算一种top-k的击中概率,主要用来评估闭集中rank的正确率。举个很简单的例子,假如在人脸识别中,底库中有100个人,现在来了1个待识别的人脸(假如label为m1),与底库中的人脸比对后将底库中的人脸按照得分从高到低进行排序,我们发现:
- 如果识别结果是m1、m2、m3、m4、m5……,则此时rank-1的正确率为100%;rank-2的正确率也为100%;rank-5的正确率也为100%;
- 如果识别结果是m2、m1、m3、m4、m5……,则此时rank-1的正确率为0%;rank-2的正确率为100%;rank-5的正确率也为100%;
- 如果识别结果是m2、m3、m4、m5、m1……,则此时rank-1的正确率为0%;rank-2的正确率为0%;rank-5的正确率为100%;
同理,当待识别的人脸集合有很多时,则采取取平均值的做法。例如待识别人脸有3个(假如label为m1,m2,m3),同样对每一个人脸都有一个从高到低的得分,
- 比如人脸1结果为m1、m2、m3、m4、m5……,人脸2结果为m2、m1、m3、m4、m5……,人脸3结果m3、m1、m2、m4、m5……,则此时rank-1的正确率为(1+1+1)/3=100%;rank-2的正确率也为(1+1+1)/3=100%;rank-5的正确率也为(1+1+1)/3=100%;
- 比如人脸1结果为m4、m2、m3、m5、m6……,人脸2结果为m1、m2、m3、m4、m5……,人脸3结果m3、m1、m2、m4、m5……,则此时rank-1的正确率为(0+0+1)/3=33.33%;rank-2的正确率为(0+1+1)/3=66.66%;rank-5的正确率也为(0+1+1)/3=66.66%;
Precision & Recall
一般来说,Precision就是检索出来的条目(比如:文档、网页等)有多少是准确的,Recall就是所有准确的条目有多少被检索出来了。
召回率 = 提取出的正确信息条数 / 样本中的信息条数
准确率和召回率都是针对同一类别来说的,并且只有当检索到当前类别时才进行计算,比如在person re-id中,一个人的label为m1,在测试集中包含3张此人的图像,检索出来的图像按照得分从高到低顺序为m1、m2、m1、m3、m4、m1….,此时
- 第一次检索到m1,提取出的正确信息条数=1,提取出的信息条数=1,样本中的信息条数=3,正确率=1/1=100%,召回率=1/3=33.33%;
- 第二次检索到m1,提取出的正确信息条数=2,提取出的信息条数=3,样本中的信息条数=3,正确率=2/3=66.66%,召回率=2/3=66.66%;
第三次检索到m1,提取出的正确信息条数=3,提取出的信息条数=6,样本中的信息条数=3,正确率=3/6=50%,召回率=3/3=100%;
平均正确率AP=(100%+66.66%+50%)/3=72.22%
而当需要检索的不止一个人时,此时正确率则取所有人的平均mAP。
F-Score
从上面准确率和召回率之间的关系可以看出,一般情况下,Precision高,Recall就低,Recall高,Precision就低。所以在实际中常常需要根据具体情况做出取舍,例如一般的搜索情况,在保证召回率的条件下,尽量提升精确率。
很多时候我们需要综合权衡这2个指标,这就引出了一个新的指标F-score。这是综合考虑Precision和Recall的调和值。
当β=1时,称为F1-score,这时,精确率和召回率都很重要,权重相同。当有些情况下,我们认为精确率更重要些,那就调整β的值小于1,如果我们认为召回率更重要些,那就调整β的值大于1。
比如在上面的例子中,在第三次检索到m1时的争取率为50%,召回率为100%,则F1-score=(2*0.5*1)/(0.5+1)=66.66%,而F0.5-score=(1.25*0.5*1)/(0.25*0.5+1)=55.56%
- 【Person Re-ID】常用评测指标
- dataset for person re-id
- 【Person Re-ID】Person Re-identification: Past, Present and Future
- 常用的评测指标
- 【Person Re-ID】SVDNet for Pedestrian Retrieval
- 推荐系统常用评测指标
- 【Person Re-id】A Discriminatively Learned CNN Embedding for Person Re-identification
- 【Person Re-ID】In Defense of the Triplet Loss for Person Re-Identification
- 【Person Re-ID】Margin Sample Mining Loss: A Deep Learning Based Method for Person Re-identification
- [论文笔记]K-CRC for Person Re-ID
- 基于深度学习的Person Re-ID(综述)
- 基于深度学习的Person Re-ID(特征提取)
- 基于深度学习的Person Re-ID(度量学习)
- 基于深度学习的Person Re-ID(综述)
- 基于深度学习的Person Re-ID(特征提取)
- 基于深度学习的Person Re-ID(综述)
- Scalable Person Re-id:A Benchmark论文笔记
- Re-ID: Person Re-identification by Local Maximal Occurrence Representation and Metric Learning 论文解析
- c 专家程序设计 运算符 i++
- webservice、socket和http 区别(一)
- Android夜间模式实现(系统自带)
- 网络流水题五杀——洛谷 P3701、P2472、P1129、P2053、P2805
- Android音视频-视频采集(系统API预览)
- 【Person Re-ID】常用评测指标
- MyBatis:SQL语句中的foreach的详细介绍
- Java面试学习总结(1)
- Python 小技巧:for 循环后面接 else 语句
- 刮刮卡
- 最优化问题——梯度下降/上升法
- Sublime Text3 3143 注册码,亲测可用!
- HDU4812 D tree 【点分治 + 乘法逆元】
- 商业模式是决定项目成败的关键