神经网络层数计算方法(综合)
来源:互联网 发布:linux调用shell脚本 编辑:程序博客网 时间:2024/05/16 19:23
kolmogorov定理:如果一个随机变量序列ξ1,ξ2.……满足不等式 ∑[1≤n≤+∞]Dξn/n²<+∞.([]为求和范围) 则事件 “lim[n→+∞]{(1/n)∑[1≤k≤n]ξk-(1/n)∑[1≤k≤n]Mξk}=0” 的概率为1.
BP神经网络构建中中间隐含层数目n2,输入层数目n1,输出层数目m;
n2=sqrt(n1+m+1)+a; a=1-10;
n1=log2(n2);
神经网络中隐层数和隐层节点数问题的讨论
一 隐层数
一般认为,增加隐层数可以降低网络误差(也有文献认为不一定能有效降低),提高精度,但也使网络复杂化,从而增加了网络的训练时间和出现“过拟合”的倾向。一般来讲应设计神经网络应优先考虑3层网络(即有1个隐层)。一般地,靠增加隐层节点数来获得较低的误差,其训练效果要比增加隐层数更容易实现。对于没有隐层的神经网络模型,实际上就是一个线性或非线性(取决于输出层采用线性或非线性转换函数型式)回归模型。因此,一般认为,应将不含隐层的网络模型归入回归分析中,技术已很成熟,没有必要在神经网络理论中再讨论之。
二 隐层节点数
在BP 网络中,隐层节点数的选择非常重要,它不仅对建立的神经网络模型的性能影响很大,而且是训练时出现“过拟合”的直接原因,但是目前理论上还没有一种科学的和普遍的确定方法。 目前多数文献中提出的确定隐层节点数的计算公式都是针对训练样本任意多的情况,而且多数是针对最不利的情况,一般工程实践中很难满足,不宜采用。事实上,各种计算公式得到的隐层节点数有时相差几倍甚至上百倍。为尽可能避免训练时出现“过拟合”现象,保证足够高的网络性能和泛化能力,确定隐层节点数的最基本原则是:在满足精度要求的前提下取尽可能紧凑的结构,即取尽可能少的隐层节点数。研究表明,隐层节点数不仅与输入/输出层的节点数有关,更与需解决的问题的复杂程度和转换函数的型式以及样本数据的特性等因素有关。
在确定隐层节点数时必须满足下列条件:
(1)隐层节点数必须小于N-1(其中N为训练样本数),否则,网络模型的系统误差与训练样本的特性无关而趋于零,即建立的网络模型没有泛化能力,也没有任何实用价值。同理可推得:输入层的节点数(变量数)必须小于N-1。
(2) 训练样本数必须多于网络模型的连接权数,一般为2~10倍,否则,样本必须分成几部分并采用“轮流训练”的方法才可能得到可靠的神经网络模型。
总之,若隐层节点数太少,网络可能根本不能训练或网络性能很差;若隐层节点数太多,虽然可使网络的系统误差减小,但一方面使网络训练时间延长,另一方面,训练容易陷入局部极小点而得不到最优点,也是训练时出现“过拟合”的内在原因。因此,合理隐层节点数应在综合考虑网络结构复杂程度和误差大小的情况下用节点删除法和扩张法确定。
转:http://blog.csdn.net/u013045749/article/details/40783281
至于说2n+1个隐层神经元个数,也是需要根据具体问题来确定的。比方说,你可以在2n+1的基础上确定一个正负10的区域,分别用区域中的数值代到网络中,看最后谁的误差最小就用哪一个。
- 神经网络层数计算方法(综合)
- 神经网络/多层感知器(MLP)架构:选择隐藏层数量和大小的标准
- 神经网络激励函数综合
- 三:求深度(高度, 层数)
- 求树层数&深搜BFS(模板)
- 神经网络中隐层数和隐层节点数问题的讨论
- 神经网络中隐层数和隐层节点数问题的讨论
- 如何确定卷积神经网络的卷积核大小、卷积层数、每层map个数
- 基于模糊神经网络的综合评价
- 机器学习11-神经网络综合运用
- newton(计算方法)
- 计算方法
- 计算方法(1~3章)
- sizeof()计算方法 c/c++
- 计算方法-全主元高斯消元法解线性方程组(Matlab)
- C#实现的bp神经网络并应用于综合评价
- 解决:System.Data.SqlClient.SqlException: 超出了存储过程、函数、触发器或视图的最大嵌套层数(最大层数为 32).
- 解决:System.Data.SqlClient.SqlException: 超出了存储过程、函数、触发器或视图的最大嵌套层数(最大层数为 32).
- 2017 Multi-University Training Contest
- BZOJ 1907: 树的路径覆盖 树型dp
- 预处理之ST表
- 机器学习推荐
- 多线程编程
- 神经网络层数计算方法(综合)
- 从零实现一个高性能网络爬虫(二)应对反爬虫之前端数据混淆
- iOS 一一 通知机制
- Java基础,写一个flat函数
- 算法训练 矩阵乘方
- hbase开发环境搭建及运行hbase小实例(HBase 0.98.3新api)
- 三范式通俗解释
- 软件测试黑马工程师----数据库04(创建表约束)
- 优秀资料