神经网络的泛化能力、学习速率
来源:互联网 发布:淘宝装修辅助工具 编辑:程序博客网 时间:2024/05/16 05:50
神经网络的泛化能力
在实际中,为了保证神经网络具有较强的泛化能力,就必须首先掌握哪些因素会影响神经网络的泛化能力,以及神经网络的泛化能力是如何受到他们影响的。主要有以下几个方面:
1、 结构复杂性和样本复杂性:神经网络的容量以及规模称之为神经网络的结构复杂性;样本复杂性是指训练某一固定结构神经网络所需的样本数目。
2、 样本质量:所谓样本质量,是指训练样本分布反映总体分布的程度,或者说由整个训练样本集提供的信息量。样本质量可以强烈地影响神经网络的泛化能力,改进训练样本质量,也是改善神经网络泛化能力的一种重要方法。
3、 初始权值:通过相应的研究,发现BP算法对初始值特别敏感,若训练神经网络时,其初始值不同,那么将能获得拥有不同泛化能力的神经网络。
4、 学习时间:训练神经网络的次数称作神经网络的学习时间。这里指出,过度的训练会使神经网络的学习时间过长,而且会导致在神经网络的泛化能力受影响。
基于上述影响网络泛化能力的因素,人们已做了很多研究,得到了诸多泛化方法,常用的包括剪枝算法、构造算法和进化算法等。
学习速率
学习速率一般取0-1之间的数如:0.1,0.4,网络初始化阈值赋值(0,1)区间内随机数,之后通过神经网络训练不断调整。
学习速率决定每一次循环训练中所产生的权值变化量。大的学习速率可能导致系统的不稳定。小的学习速率导致较长的训练时间,可能收敛很慢,不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值。所以在一般情况下,倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01-0.8之间。
- 神经网络的泛化能力、学习速率
- 思考深度学习的泛化能力
- 机器学习-泛化能力笔记
- Lecture 9: Ways to make neural networks generalize better 提高神经网络泛化能力的方法
- 神经网络中的过拟合、泛化能力、L2正则化
- 泛化能力
- 神经网络中的学习速率如何理解
- lecture9-提高模型泛化能力的方法
- lecture9-提高模型泛化能力的方法
- 衡量模型泛化能力的评价标准
- 机器学习中假设函数泛化能力的验证(上)
- 机器学习中假设函数泛化能力的验证(下)
- Top 100论文导读:深度神经网络的理解,泛化以及迁移学习
- 两个简单程序告诉你学习速率对于BP神经网络收敛的影响
- 整理:统计学习-1(续)泛化能力
- 《统计学习方法》学习笔记(2)--模型选择、泛化能力
- 将学习速率可视化来优化神经网络--将学习速率视作超参数并使用可视化来观察其影响的技巧和诀窍
- 1.6 泛化能力
- 会计专业的渣渣学习web的历程
- SerDes interface参考设计_CDR设计(5)
- Swift 单例模式实现及类方法
- redis中SETEX和SET有什么区别?
- 希尔排序的总结
- 神经网络的泛化能力、学习速率
- HBase之Java API实操
- LRU缓存设计
- Facade Pattern
- Android中<meta-data>的使用
- 清除HtmlAgilityPack得到的InnerText中残留的script
- Leetcode: Rotate Array
- Mac 常用操作
- python 装饰器的本质