ROC曲线

ROC曲线（receiver operating characteristic curve），又称为感受性曲线（sensitivity curve）。得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，只不过是在几种不同的判定标准下所得的结果而已。接受者操作特性曲线就是以虚惊概率为横轴，击中概率为纵轴所组成的坐标图，和被试在特定刺激条件下由于采用不同的判断标准得出的不同结果画出的曲线。

ROC曲线的属性

（1）β值的改变独立于d’的变化，考察β值变化对P(y/SN)和P(y/N)的影响时发现：当β接近0时，击中概率几乎为0，即信号全当成噪音接受；当β接近无穷大时，虚惊概率几乎为0，即噪音全当成信号接受；而当β从接近0向无穷大渐变的过程中，将形成一条完整地ROC曲线，曲线在某一处达到最佳的标准βOPT。（2）ROC曲线的曲率反应敏感性指标d’：对角线，代表P(y/SN)=P(y/N)，即被试者的辨别力d’为0，ROC曲线离这条线愈远，表示被试者辨别力愈强，d’的值当然就愈大。由上可知，d’的变化使ROC曲线形成一个曲线簇，而β的变化体现在这一曲线簇中的某一条曲线上不同点的变化。此外，如果将ROC曲线的坐标轴变为Z分数坐标，我们将看到ROC曲线从曲线形态变为直线形态。这种坐标变换可以用来验证信号检测论一个重要假设，即方差齐性假设。

 

ROC曲线是显示Classification模型真正率和假正率之间折中的一种图形化方法。

解读ROC图的一些概念定义:：

真正（True Positive , TP）被模型预测为正的正样本；
假负（False Negative , FN）被模型预测为负的正样本；
假正（False Positive , FP）被模型预测为正的负样本；
真负（True Negative , TN）被模型预测为负的负样本。

 

真正率（True Positive Rate , TPR）或灵敏度（sensitivity）
TPR = TP /（TP + FN）  （正样本预测结果数 / 正样本实际数）
假负率（False Negative Rate , FNR）
FNR = FN /（TP + FN） （被预测为负的正样本结果数 / 正样本实际数 ）

假正率（False Positive Rate , FPR）
FPR = FP /（FP + TN） （被预测为正的负样本结果数 /负样本实际数）
真负率（True Negative Rate , TNR）或特指度（specificity）
TNR = TN /（TN + FP） （负样本预测结果数 / 负样本实际数）

目标属性的被选中的那个期望值称作是“正”（positive）

 

ROC曲线上几个关键点的解释：

( TPR=0,FPR=0 ) 把每个实例都预测为负类的模型
( TPR=1,FPR=1 ) 把每个实例都预测为正类的模型
( TPR=1,FPR=0 ) 理想模型

 

一个好的分类模型应该尽可能靠近图形的左上角，而一个随机猜测模型应位于连接点（TPR=0,FPR=0）和（TPR=1,FPR=1）的主对角线上。

ROC曲线下方的面积（Area Under the ROC Curve, AUC）提供了评价模型平均性能的另一种方法。如果模型是完美的，那么它的AUC = 1，如果模型是个简单的随机猜测模型，那么它的AUC = 0.5，如果一个模型好于另一个，则它的曲线下方面积相对较大