机器学习评价指标大汇总
来源:互联网 发布:linux查看raid卡信息 编辑:程序博客网 时间:2024/04/30 02:15
转自:http://www.zhaokv.com/2016/03/ml-metric.html
在使用机器学习算法的过程中,针对不同场景需要不同的评价指标,在这里对常用的指标进行一个简单的汇总。
一、分类
1. 精确率与召回率
精确率与召回率多用于二分类问题。精确率(Precision)指的是模型判为正的所有样本中有多少是真正的正样本;召回率(Recall)指的是所有正样本有多少被模型判为正样本,即召回。设模型输出的正样本集合为
有时候我们需要在精确率与召回率间进行权衡,一种选择是画出精确率-召回率曲线(Precision-Recall Curve),曲线下的面积被称为AP分数(Average precision score);另外一种选择是计算
当
2. ROC
设模型输出的正样本集合为
ROC曲线适用于二分类问题,以假正率为横坐标,真正率为纵坐标的曲线图,如:
AUC分数是曲线下的面积(Area under curve),越大意味着分类器效果越好。
3. 对数损失
对数损失(Log loss)亦被称为逻辑回归损失(Logistic regression loss)或交叉熵损失(Cross-entropy loss)。
对于二分类问题,设
可以很容易地将其扩展到多分类问题上。设
4. 铰链损失
铰链损失(Hinge loss)一般用来使“边缘最大化”(maximal margin)。
铰链损失最开始出现在二分类问题中,假设正样本被标记为1,负样本被标记为-1,
然后被扩展到多分类问题,假设
注意,二分类情况下的定义并不是多分类情况下定义的特例。
5. 混淆矩阵
混淆矩阵(Confusion Matrix)又被称为错误矩阵,通过它可以直观地观察到算法的效果。它的每一列是样本的预测分类,每一行是样本的真实分类(反过来也可以),顾名思义,它反映了分类结果的混淆程度。混淆矩阵
6. kappa系数
kappa系数(Cohen's kappa)用来衡量两种标注结果的吻合程度,标注指的是把N个样本标注为C个互斥类别。计算公式为
其中
是不是云里来雾里去的,现在举个栗子,对于50个测试样本的二分类问题,预测与真实分布情况如下表:
预测与真实值相符共有20+15个,则观察到的符合比例为
7. 准确率
准确率(Accuracy)衡量的是分类正确的比例。设
其中
虽然准确率适用范围很广,可用于多分类以及多标签等问题上,但在多标签问题上很严格,在有些情况下区分度较差。
8. 海明距离
海明距离(Hamming Distance)用于需要对样本多个标签进行分类的场景。对于给定的样本
其中
我们可以通过对所有样本的预测情况求平均得到算法在测试集上的总体表现情况,当标签数量
9. 杰卡德相似系数
杰卡德相似系数( Jaccard similarity coefficients)也是用于需要对样本多个标签进行分类的场景。对于给定的样本
它与海明距离的不同之处在于分母。当预测结果与实际情况完全相符时,系数为1;当预测结果与实际情况完全不符时,系数为0;当预测结果是实际情况的真子集或真超集时,距离介于0到1之间。
我们可以通过对所有样本的预测情况求平均得到算法在测试集上的总体表现情况,当标签数量
10. 多标签排序
在这节我们介绍一些更精细化的多标签分类效果衡量工具。设真实标签分类情况为
10.1 涵盖误差
涵盖误差(Coverage error)计算的是预测结果中平均包含多少真实标签,适用于二分类问题。涵盖误差定义为:
其中
10.2 标签排序平均精度
标签排序平均精度(Label ranking average precision)简称LRAP,它比涵盖误差更精细:
其中
10.3 排序误差
排序误差(Ranking loss)进一步精细考虑排序情况:
其中
二、拟合
拟合问题比较简单,所用到的衡量指标也相对直观。假设
1. 平均绝对误差
平均绝对误差MAE(Mean Absolute Error)又被称为
2. 平均平方误差
平均平方误差MSE(Mean Squared Error)又被称为
3. 解释变异
解释变异( Explained variance)是根据误差的方差计算得到的:
4. 决定系数
决定系数(Coefficient of determination)又被称为
其中
三、聚类
1 . 兰德指数
兰德指数(Rand index)需要给定实际类别信息
其中
对于随机结果,RI并不能保证分数接近零。为了实现“在聚类结果随机产生的情况下,指标应该接近零”,调整兰德系数(Adjusted rand index)被提出,它具有更高的区分度:
具体计算方式参见Adjusted Rand index。
ARI取值范围为
2. 互信息
互信息(Mutual Information)也是用来衡量两个数据分布的吻合程度。假设
其中
其中
与ARI类似,调整互信息(Adjusted mutual information)定义为:
利用基于互信息的方法来衡量聚类效果需要实际类别信息,MI与NMI取值范围为
3. 轮廓系数
轮廓系数(Silhouette coefficient)适用于实际类别信息未知的情况。对于单个样本,设
对于一个样本集合,它的轮廓系数是所有样本轮廓系数的平均值。
轮廓系数取值范围是
四、信息检索
信息检索评价是对信息检索系统性能(主要满足用户信息需求的能力)进行评估,与机器学习也有较大的相关性,感兴趣的可以参考这篇不错的博文。
四、总结
上面介绍了非常多的指标,实际应用中需要根据具体问题选择合适的衡量指标。那么具体工作中如何快速使用它们呢?优秀的Python机器学习开源项目Scikit-learn实现了上述绝指标的大多数,使用起来非常方便。
- 机器学习评价指标大汇总
- 机器学习评价指标大汇总
- 机器学习评价指标大汇总
- 机器学习评价指标大汇总
- 机器学习评价指标大汇总
- 机器学习评价指标大汇总
- 机器学习评价指标大汇总
- 机器学习评价指标汇总
- 机器学习指标大汇总
- 机器学习评价指标
- 【机器学习】评价指标
- 【机器学习】评价指标
- 机器学习评价指标
- 机器学习模型评价指标
- 机器学习模型评价指标
- 机器学习算法评价指标
- 机器学习之评价指标
- 常见机器学习评价指标
- mac地址分类及如何修改mac地址
- 关于使用MIXER API 函数出现 “未解决的符号错误”的解决办法
- Gradle DSL method not found: 'android()'
- js去掉html标签和去掉字符串文本的所有的空格
- Drools KIE API
- 机器学习评价指标大汇总
- mongo 主从
- Android手机中的AP与BP
- 用git bash 传数据到远程出错:git push origin master 出错:error: failed to push some refs to
- 购物商城shopping连载(4)
- 指针总结
- Android 双卡发送短信
- 12C-OCP升级1z-060-021
- 大型项目架构搭建_高内聚、低耦合(1)