分类算法中常用的评价指标

混淆矩阵

labeled as positive labeled as negative predicted as positive True Positive
(TP) False Positive
(FP) predicted as negative False Negative
(FN) True Negative
(TN)

混淆矩阵（Confusion Matrix）中包含四种数据：

• TP：实际为正例，被预测为正例，预测正确
• FP：实际为负例，被预测为正例，预测错误
• FN：实际为正例，被预测为负例，预测错误
• TN：实际为负例，被预测为正例，预测正确

由以上四种数据得到四种比率如下：

• TPR（True Positive Rate，又称 灵敏度：sensitivity）：TPR=TPTP+FN，即正例被正确预测为正例的数目实际正例的数目
• FPR（False Positive Rate）：FPR=FPFP+TN，即负例被错误预测为正例的数目实际负例的数目
• FNR（False Negative Rate）：FNR=FNTP+FN，即正例被错误预测为负例的数目实际正例的数目
• TNR（True Negative Rate，又称 特指度：specificity）：TNR=TNFP+TN，即负例被正确预测为负例的数目实际负例的数目

评价指标

• Precision，即查准率：P=TPTP+FP
• Recall，即查全率：R=TPTP+FN
• F-Score，即precision和recall的调和平均值，更接近precision和recall中较小的那一个值：F=2×P×RP+R
• Accuracy，分类器对整体样本的分类能力，即正例分为正例，负例分为负例：A=TP+TNTP+FP+FN+TN
• ROC，Receiver Operating Characteristic，主要用于画ROC曲线（横坐标为FPR，纵坐标为TPR）

ROC曲线中，关于四个关键点的解释：
(FPR=0,TPR=0)：将全部正例分为负例，全部负例分为负例
(FPR=0,TPR=1)：全部划分正确，即正例全部分为正例，负例全部分为负例
(FPR=1,TPR=1)：将全部负例分为正例，全部正例分为正例
所以，ROC曲线越靠近左上角，说明分类器的效果越好。

• AUC，Area Under ROC Curve
  在实际的数据集中经常会出现类不平衡(class imbalance)现象，即负样本比正样本多很多(或者相反)，而且测试数据中的正负样本的分布也可能随着时间变化，这样ROC曲线会出现加大的波动。
  AUC的值就是处于ROC curve下方的那部分面积的大小。通常，AUC的值介于0.5到1.0之间，较大的AUC代表了较好的performance。如果模型是完美的，那么它的AUG = 1，如果模型是个简单的随机猜测模型，那么它的AUG = 0.5，如果一个模型好于另一个，则它的曲线下方面积相对较大。
  

参考文献：http://gim.unmc.edu/dxtests/roc3.htm
　　　　　http://alexkong.net/2013/06/introduction-to-auc-and-roc/