深度学习-超参数和交叉验证
来源:互联网 发布:80端口被攻击 编辑:程序博客网 时间:2024/06/09 23:51
1.什么是超参数
没接触过机器学习的人可能对这个概念比较模糊。我们可以从两方面来理解
(1)参数值的产生由来
超参数是在开始学习过程之前设置值的参数(人为设置),而不是通过训练得到的参数数据。
(2)超参数含义
- 定义关于模型的更高层次的概念,如复杂性或学习能力。
- 不能直接从标准模型培训过程中的数据中学习,需要预先定义。
- 可以通过设置不同的值,训练不同的模型和选择更好的测试值来决定
(3)举例
超参数的一些示例:
- 树的数量或树的深度
- 矩阵分解中潜在因素的数量
- 学习率(多种模式)
- 深层神经网络隐藏层数
- k均值聚类中的簇数
2.交叉验证
交叉验证的目的是什么?
一般有两种:
1.我们进行学习的时候,可能会选择多种模型来训练,最后我们需要一种评判标准来选择哪种模型较好,此时就需要交叉验证
2.我们确定了某种学习模型,但可能有多组参数的选择,具体选择哪一种我们也需要交叉验证
普通的验证不行吗,为什么要交叉的?
因为数据集中某部分可能不纯(比如验证块中某些数据可能存在误差值,异常值,导致测试结果偏低,或者某些部分验证的数据过于简单,使得测试结果偏高)
关于交叉验证的具体分类和操作详见
https://zhuanlan.zhihu.com/p/24825503?refer=rdatamining
http://blog.csdn.net/linkin1005/article/details/42869331
阅读全文
2 0
- 深度学习-超参数和交叉验证
- 深度学习中的验证集和超参数简介
- Spark2.0机器学习系列之1:基于Pipeline、交叉验证、ParamMap的模型选择和超参数调优
- 超参数的选择与交叉验证
- sklearn学习-SVM例程总结3(网格搜索+交叉验证——寻找最优超参数)
- CS231n课程笔记5.4:超参数的选择&交叉验证
- 【2017年cs231n学习笔记1】Lecture2 K近邻 距离度量 超参数 交叉验证 线性分类器
- 深度学习超参数简单理解------>learning rate,weight decay和momentum
- 深度学习超参数简单理解------>learning rate,weight decay和momentum
- 深度学习超参数简单理解------>learning rate,weight decay和momentum
- 深度学习与神经网络-吴恩达(Part2Week3)-超参数调试、Batch正则化和程序框架
- machine learning in coding(python):使用交叉验证【选择模型超参数】
- 深度学习笔记——Solver超参数配置文件
- 《深度学习Ng》课程学习笔记02week3——超参数调试、Batch正则化和程序框架
- 吴恩达神经网络和深度学习课程自学笔记(七)之超参数调试,Batch正则化和程序框架
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(2-3)-- 超参数调试 和 Batch Norm
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(2-3)-- 超参数调试 和 Batch Norm
- 交叉验证--模型参数选择
- hdu 5901 (1-n 素数个数)
- Sebastian Thrun 的一席演讲, 精辟的道出: 人工智能与人类间的关系
- 仿微信发送语音消息的功能
- Property Animation(属性动画)
- [NOIP2017模拟]art2
- 深度学习-超参数和交叉验证
- Linux安装svn服务器
- ubuntu设置中文环境
- TensorFlow学习笔记3——变量共享
- 1284:闰年
- LAMP调优(一)之版本隐藏和错误页面显示处理
- 培根密码
- 数据采集卡在TDLAS(可调谐半导体激光吸收光谱)上的应用
- C++类中静态STL容器中的指针所指向的动态内存空间如何释放!