Gradient-based Hyperparameter Optimization through Reversible Learning
来源:互联网 发布:淘宝一个订单两个包裹 编辑:程序博客网 时间:2024/05/16 13:58
摘要
因为超参数的梯度信息很难获得,所以调整超参数很难。我们在整个训练集上计算了对于所有超参数的交叉检验的精确参数。这使得我们可以优化各种超参数,包括训练步长、动量、初始参数的分布、网络结构、正则化形式。我们的计算恰好颠覆了基于动量的随机梯度下降法的动力。
简介
机器学习到处都是超参数,需要通过例如l1l2等正则化来限制模型的复杂度。还有步长、动量衰减、初始条件等,都很难决定。
现有的方法通过验证集来确定好的参数达到最好结果,但是也不能一下子调整10~20个参数。
为何不考虑梯度呢,逆向差分使得梯度的计算消耗接近初始目标函数的计算消耗。这种方法一般用于元素参数的计算。计算超参数的梯度的困难在于验证集损失函数的计算需要元素级别的内部循环,这使得初始的基于内存消耗的梯度计算难以实现。第2部分会来解决这个问题,所用方法也是本文的主要方法。
得到超参数的梯度为通往天堂之路打开了一扇窗……我们不是尽量从模型中消除超参数,而是利用并丰富模型中的超参数。就如高维的元素参数使得模型更灵活一样,高维的超参数使得我们的模型类别、正则化方法、训练方法更加灵活。
超梯度
逆向差分(也就是算法)在超参数的梯度计算中受制于内存消耗过大而难以实施。
0 0
- Gradient-based Hyperparameter Optimization through Reversible Learning
- Introduction to Gradient-Based Learning
- Introduction to Gradient-Based Learning
- 神经网络机器翻译Neural Machine Translation(5): Gradient-based Optimization Algorithms
- 论文提要“Gradient based Learning Applied to Document Reocognition”
- MLlib - Optimization Module - Gradient
- Optimization:Stochastic Gradient Descent
- Optimization: Stochastic Gradient Descent
- Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization总结
- MLlib - Optimization-based Algorithms
- A Brief Summary of Yann's "Gradient-Based Learning Applied to Document Recognition"
- 2016.4.16 Gradient-based learning applied to document recognition[待更]
- OpenCV编程实现LeCun论文(Gradient-Based Learning Applied to Document Recognition)中的CNN
- Gradient-Based Deformation
- CS231n Optimization: Stochastic Gradient Descent
- Learning Best Practices for Model Evaluation and Hyperparameter Tuning
- Sequential Model-Based Optimization(SMBO)
- COURSE 2 Improving Deep Neural Networks Hyperparameter tuning, Regularization and Optimization
- POJ 3278 广度搜索 一个终点
- qt不能调试
- 短信验证码验证(使用Mob SDK)
- Shadow Map & Shadow Volume
- 第一版小四轴总结
- Gradient-based Hyperparameter Optimization through Reversible Learning
- HttpServletRequest和HttpServletResponse的方法总结
- 百度OCR文字识别企业版 Object-C 识别两种类型 代码示例
- Hadoop 之 Shuffle 和排序---再理解
- 运行WampServer时,提示Exception Exception in module wampmanager.exe at 000F15A0.解决办法
- Ubuntu 14.04 引导修复(Boot Repair)(双系统修复一)
- 程序员生涯上第一篇文章~~~
- binder.registerCustomEditor 方法的示例:springmvc之 特殊字段的注入
- 时间复杂度的计算<一>