机器学习性能评估指标

1. 分类问题

混淆矩阵
- True Positive(真正, TP)：将正类预测为正类数.
- True Negative(真负 , TN)：将负类预测为负类数.
- False Positive(假正, FP)：将负类预测为正类数 →→ 误报 (Type I error).
- False Negative(假负 , FN)：将正类预测为负类数 →→ 漏报 (Type II error).

NULL Positive Negative True True Positive(TP) True Negative(TN) False False Positive(FP) False Negative(FN)

1.1**精确率(precision)**定义为：

P=TPTP+FP(1)

1.2**准确率(accuracy)**定义为(注意二者的区别)：

ACC=TP+TNTP+TN+FP+FN(2)

在正负样本不平衡的情况下，准确率这个评价指标有很大的缺陷。比如在互联网广告里面，点击的数量是很少的，一般只有千分之几，如果用ACC，即使全部预测成负类（不点击）ACC 也有 99% 以上，没有意义。

1.3召回率(recall,sensitivity,true positive rate)定义为：

R=TPTP+FN(3)//预测错误的负样本即为正样本

此外还有F1值，是精确率和召回率的调和均值

2F1=1P+1R(3)

F1=2TP2TP+FP+FN

精确率和准确率都高的情况下，F1 值也会高。

---

通俗解释

---

在信息检索领域，精确率和召回率又被称为查准率和查全率：

查准率=检索出的相关信息量检索出的信息总量

查全率=检索出的相关信息量系统中的相关信息总量

---

1.4 ROC曲线

定义：

In signal detection theory, a receiver operating characteristic (ROC), or simply ROC curve, is a graphical plot which illustrates the performance of a binary classifier system as its discrimination threshold is varied.

比如在逻辑回归里面，我们会设一个阈值，大于这个值的为正类，小于这个值为负类。如果我们减小这个阀值，那么更多的样本会被识别为正类。这会提高正类的识别率，但同时也会使得更多的负类被错误识别为正类。为了形象化这一变化，在此引入ROC，ROC曲线可以用于评价一个分类器好坏。
ROC关注的两个指标：
True positive rate: TPR=TPTP+FN

False positive rate: FPR=FPFP+TN

直观上，TPR 代表能将正例分对的概率，FPR 代表将负例错分为正例的概率。在 ROC 空间中，每个点的横坐标是 FPR，纵坐标是 TPR，这也就描绘了分类器在 TP（真正率）和 FP（假正率）间的 trade-off2。

---

1.5 AUC

AUC（Area Under Curve）被定义为ROC曲线下的面积，显然这个面积的数值不会大于1。
The AUC value is equivalent to the probability that a randomly chosen positive example is ranked higher than a randomly chosen negative example.

翻译过来就是，随机挑选一个正样本以及一个负样本，分类器判定正样本的值高于负样本的概率就是 AUC 值。简单说：AUC值越大的分类器，正确率越高。