交叉验证(Cross Validation)
来源:互联网 发布:数据库添加字段 编辑:程序博客网 时间:2024/04/30 00:13
交叉验证是机器学习、数据挖掘中经常要用到的技巧。很有必要很好的掌握它。所以试着写点这方面的理解,希望对大家有帮助。
文章分为两个部分: 一、交叉验证的原理; 二、分享一个好用的实现了大多数交叉验证的方法包(python scikit-learn)。
在用随机化抽样(random sampling)方法将数据集分为训练集和测试集过程,划分数据集常常会导致过度专门化(over-specialization)的问题,即数据的性质分布不均匀,将会导致由训练集训练出来的学习模型,在测试集上表现的很差,类似于过拟合(over-fit)的现象。基于这个原因,我们希望能够重复多次的进行训练学习模型和测试模型步骤。通过随机化抽样的方法选定K个不同的训练集和测试集,分别用来训练出学习模型和测试模型。最后,通过取K个学习模型性能的均值,来解决过度专门化的问题。 而这个过程也称之为交叉验证(Cross-Validation)。
常用的交叉验证有:K-Folds cross validation、Stratified K-Folds cross validation、Leave-one-out cross validation 等等。
#好东西要分享#
python的机器学习包scikit-learn中对各种交叉验证进行了实现。http://scikit-learn.org/stable/modules/classes.html#module-sklearn.cross_validation
转载请注明:转自 zh's note http://blog.csdn.net/wuzh670/
- cross-validation 交叉验证
- 交叉验证--Cross validation
- cross-validation 交叉验证
- 交叉验证(Cross Validation)
- cross validation交叉验证
- cross validation 交叉验证
- 交叉验证(Cross-validation)
- 交叉验证(Cross-Validation)
- 交叉验证(Cross-Validation)
- 交叉验证(Cross-Validation)
- 交叉验证(Cross-validation)
- 交叉验证(Cross validation)
- 交叉验证(Cross-validation)
- 交叉验证 Cross-validation
- 交叉验证(cross-validation)
- Cross-validation(交叉验证)
- 交叉验证(Cross Validation)
- 交叉验证(Cross Validation)
- 基于baseline和stochastic gradient descent的个性化推荐系统
- 如何在 C# 中用 SharpZipLib 进行 ZIP 压缩与解压
- Objective-C ,ios,iphone开发基础:iosMD5大全
- 杭州某互联网公司校招笔试Java选做题
- 基于baseline、svd和stochastic gradient descent的个性化推荐系统
- 交叉验证(Cross Validation)
- VB/VBA中实现数据库与文件的存取
- Codeforces Beta Round #52 (Div. 2) D - Changing a String
- C++ 11标准
- HDU 4756 && HDU 4126
- 推荐系统-基于用户的最近邻协同过滤算法(MovieLens数据集)
- 哥德巴赫猜想的拓展
- 让Qt的窗口最小化最大化及关闭按钮都消失
- IOS math.h函数