深度学习笔记(1):训练集和测试集
来源:互联网 发布:iphone照片编辑软件 编辑:程序博客网 时间:2024/05/21 21:46
1. 定义
训练集是用于发现和预测潜在关系的一组数据。
测试集是用于评估预测关系强度和效用的一组数据。
2. 运用
测试集和训练集用于智能系统,机器学习,遗传编程和统计。
3. 二者关系
在训练分类器期间,只有训练集可用,不得使用测试集。测试集仅在测试分类器期间可用。
测试集是独立于训练数据,但是遵循与训练数据相同的概率分布的一组数据。 如果适合训练集的模型也适合测试集合,则发生最小过度拟合。
4. 使用方法
通常把已有数据集分成3部分。
训练集 > 60%
交叉验证集 > 20%
测试集 > 20%
用训练集进行机器学习,然后使用交叉验证集(监督学习)进行调整,以提高参数,最后使用测试集,测试模型的准确性。以上样本数量分配并不是强制要求,只是经验提供。如果没有验证集,我们可以把数据分为70%训练集和30%测试集。
5. 举例
现实生活中,计算机没办法像人类一样认识事物,所以人类一直致力于这方面的研究。前辈们已经开发了许多方法,以实现计算机识别能力,比如SVM等。但是目前最火且具有最高识别度的还是深度学习。有许许多多的人投身于中,可以说我们赶上了时代的列车。
如何识别?
假如我们需要识别一辆小汽车。那么我们需要有大量的小汽车图片(训练数据),当我们有足够多的数据时,我们就可以进行机器学习了。我们告诉计算机,这些数据都是小汽车,计算机通过算法(这里使用深度学习算法)知道什么是小汽车,具备哪些特征。这时,我们就可以放入已有的其他图片(测试数据),计算机会把这些图片与经验库图片进行比对,然后告诉我们哪些是小汽车,哪些不是小汽车。
参考文章
神经网络1.训练和测试(train&test)以及相关关系解释–神经网络开篇
阅读全文
0 0
- 深度学习笔记(1):训练集和测试集
- 深度学习tips-训练集、开发集和测试集
- caffe学习笔记:mnist数据集的训练和测试
- 深度学习总结(八)——训练、开发和测试集及偏差和方差
- 深度学习训练及测试时的三个“集”
- Windows Caffe 学习笔记(一)训练和测试CIFAR-10数据集
- 深度学习笔记(二)-模型训练
- [深度学习] RCNNs系列(1) Ubuntu下Faster RCNN配置及训练和测试自己的数据方法
- [深度学习] RCNNs系列(1) Ubuntu下Faster RCNN配置及训练和测试自己的数据方法
- 深度学习Caffe实战笔记(20)Windows平台 Faster-RCNN 训练自己的数据集
- [DeeplearningAI笔记]改善深层神经网络1.1_1.3深度学习实用层面_偏差/方差/欠拟合/过拟合/训练集/验证集/测试集
- 【心得】深度学习入门——训练并测试自己数据集
- 深度学习(三) YOLOv2训练自己的数据集
- 机器学习中的训练集、验证集和测试集
- 机器学习中训练集和测试集归一化-matlab
- [机器学习]划分训练集和测试集的方法
- Theano深度学习笔记(一)热身训练
- caffe学习笔记12:训练和测试自己的图片
- Arishmoon Tony的高考素材本.1
- 数据结构:循环队列(C语言实现)
- 半句傾心 一句鐘情2016.3.25
- MySQL 储存过程-原理、语法、函数详细说明
- Javascript 严格模式详解
- 深度学习笔记(1):训练集和测试集
- git 版本库拆分和subtree用法
- Java
- 由邻居蹭网引发的天翼宽带猫与磊科路由的硬件搭线及软件连接探索
- 【修改的版本】solr定时实时重建索引和增量更新
- 多线程1
- keras创建模型
- hdu2035 人见人爱A^B(快速幂取模)
- Spring-AOP 通过配置文件实现 前置增强