精确率（准确率、查准率、precision）、召回率（查全率、recall）、RoC曲线、AUC面积、PR曲线

1. TP, FP, TN, FN

1. 1. True Positives,TP：预测为正样本，实际也为正样本的特征数
   2. False Positives,FP：预测为正样本，实际为负样本的特征数
   3. True Negatives,TN：预测为负样本，实际也为负样本的特征数
   4. False Negatives,FN：预测为负样本，实际为正样本的特征

真实情况

预测结果

真

假

真

TP（真正例）

FN（假反例）

假

FP（假正例）

TN（真反例）

2. 精确率(precision),召回率(Recall)与特异性(specificity)

　　精确率（Precision）的定义如下：

　　　　P=TPTP+FP

　　　　召回率(Recall)的定义如下：
　　　　R=TPTP+FN

　　　　特异性(specificity)的定义如下：

　　　　S=FPFP+TN

　　　　有时也用一个F₁值来综合评估精确率和召回率，它是精确率和召回率的调和均值。当精确率和召回率都高时,F₁值也会高。严格的数学定义如下：

　　　　2F1=1P+1R

　　　　有时候我们对精确率和召回率并不是一视同仁，比如有时候我们更加重视精确率。我们用一个参数β来度量两者之间的关系。

如果
β>1, 召回率有更大影响，如果β<1,精确率有更大影响。自然，当β=1的时候，精确率和召回率影响力相同，和F₁形式一样。

含有度量参数
β的F₁我们记为

Fβ 严格的数学定义如下：

　　　　Fβ=(1+β2)∗P∗Rβ2∗P+R

precision和recall的一对矛盾的度量，通常只有在一些简单的任务中，才可能使precision和recall都很高。

3. RoC曲线和PR曲线

在很多情况下，我们可根据学习器的预测结果对样例进行排序，排在前面的是学习器认为“最可能”是正例的样本，

排在最后的则是学习器认为“最不可能”是正例的样本。按此顺序逐个把样本作为整理进行预测，则每次可以计算

出当前的查全率、查准率，以P（查准率）为纵轴，R（查全率）为横轴作图，就得到了P-R曲线P-R图直观的显

示出学习器在样本总体上的查全率、查准率，在进行比较时，若一个学习器的P-R曲线被另一个完全包住，则可

断言后者优于前者，如图1，A优于C；如果两个学习器的P-R曲线发生了交叉，如A和B，则难以一般性的断言两

者孰优孰劣，只能在具体的P或R条件下进行比较。然而，在很多情形下，人们往往仍希望把学习器A和B比个高低，

这时一个比较合理的判断依据是比较曲线下面积的大小，它在一定程度上表征了学习器在P和R上取得相对“双高”

的比例，但这个值不太容易估算，因此人们设计了一些综合考虑P和R的度量。

平衡点（BEP）就是这样一个度量，是P=R时的取值，基于BEP，可任务A优于B。

以召回率（真正率）为y轴，以特异性（假正率）为x轴，我们就直接得到了RoC曲线。从召回率和特异性的定

义可以理解，召回率越高，特异性越小，我们的模型和算法就越高效。也就是画出来的RoC曲线越靠近左上越

好。如下图左图所示。从几何的角度讲，RoC曲线下方的面积越大越大，则模型越优。所以有时候我们用RoC

曲线下的面积，即AUC（Area Under Curve）值来作为算法和模型好坏的标准。

图1 P-R曲线

图2 ROC曲线

参考文献

http://www.cnblogs.com/pinard/p/5993450.html

周志华《机器学习》