train set,validation set and test set
来源:互联网 发布:mysql怎么执行sql语句 编辑:程序博客网 时间:2024/06/15 22:01
在有监督(supervise)的机器学习中,数据集常被分成2~3个,即:训练集(train set) 验证集(validation set) 测试集(test set)。
转自:http://blog.sina.com.cn/s/blog_4d2f6cf201000cjx.html
一般需要将样本分成独立的三部分训练集(train set),验证集(validation set)和测试集(test set)。其中训练集用来估计模型,验证集用来确定网络结构或者控制模型复杂程度的参数,而测试集则检验最终选择最优的模型的性能如何。一个典型的划分是训练集占总样本的50%,而其它各占25%,三部分都是从样本中随机抽取。
样本少的时候,上面的划分就不合适了。常用的是留少部分做测试集。然后对其余N个样本采用K折交叉验证法。就是将样本打乱,然后均匀分成K份,轮流选择其中K-1份训练,剩余的一份做验证,计算预测误差平方和,最后把K次的预测误差平方和再做平均作为选择最优模型结构的依据。特别的K取N,就是留一法(leave one out)。
http://www.cppblog.com/guijie/archive/2008/07/29/57407.html
这三个名词在机器学习领域的文章中极其常见,但很多人对他们的概念并不是特别清楚,尤其是后两个经常被人混用。Ripley, B.D(1996)在他的经典专著Pattern Recognition and Neural Networks中给出了这三个词的定义。
Training set: A set of examples used for learning, which is to fit the parameters [i.e., weights] of the classifier.
Validation set: A set of examples used to tune the parameters [i.e., architecture, not weights] of a classifier, for example to choose the number of hidden units in a neural network.
Test set: A set of examples used only to assess the performance [generalization] of a fully specified classifier.
显然,training set是用来训练模型或确定模型参数的,如ANN中权值等; validation set是用来做模型选择(model selection),即做模型的最终优化及确定的,如ANN的结构;而 test set则纯粹是为了测试已经训练好的模型的推广能力。当然,test set这并不能保证模型的正确性,他只是说相似的数据用此模型会得出相似的结果。但实际应用中,一般只将数据集分成两类,即training set 和test set,大多数文章并不涉及validation set。
- train set,validation set and test set
- What are training set, validation set and test set?
- What are training set, validation set and test set?
- What are training set, validation set and test set?
- WHAT ARE TRAINING SET, VALIDATION SET AND TEST SET?
- 转: 训练集(train set) 验证集(validation set) 测试集(test set)
- [综] 训练集(train set) 验证集(validation set) 测试集(test set)
- 训练集(train set) 验证集(validation set) 测试集(test set)
- 训练集(train set) 验证集(validation set) 测试集(test set)
- 训练集(train set)、 验证集(validation set) 、测试集(test set)
- 训练集(train set) 验证集(validation set) 测试集(test set)
- 训练集(train set) 验证集(validation set) 测试集(test set)
- 训练集(train set) 验证集(validation set) 测试集(test set)
- 训练集(train set) 验证集(validation set) 测试集(test set)
- 训练集(train set) 验证集(validation set) 测试集(test set)
- 训练集(train set) 验证集(validation set) 测试集(test set)
- 训练集(train set) 验证集(validation set) 测试集(test set)
- AI---训练集(train set) 验证集(validation set) 测试集(test set)
- js 获取url 获取地址栏
- js 随机数
- php 调用js function错…
- css3 书写顺序,书写排序
- HDU 3948 The Number of Palindromes(后缀数组)
- train set,validation set and test set
- ecshop 后台目录修改 后台路径修改
- tomcat单机多实例配置实战
- dedecmd 织梦cms 目录管…
- JS执行效率与性能提升方案
- [MySQL优化案例]系列 — slave延迟很大优化方法
- png无损压缩软件 jpg图片优化…
- web网站手机版 wap网站 …
- dedecms mysql 1064&nbs…