2013.08.09(1)

1、多层线性网络意义不大，相当于单层线性网络

2、多层隐藏神经元，最好使用atanh函数

    atanh_a=1.7159#>0
    atanh_b=2/float(3)#>0  

另外，要保证第一层的输出不要太接近1.7159

其它层也一样

因为正负1.7159是a为1.7158的S型函数的极限

可通过2个手段

1）权值

2）学习率和动量参数

下面是权值控制，权值控制在输入层必须控制，输入的变量局部诱导域在1附近与1.7159附近，通过将输入层的权值的调小或在小的基础上让输入层的极差较大，然后其它权值调大实现，其它层的权值可以较大一些

    atanh_a=1.7159#>0
    atanh_b=2/float(3)#>0  

初期BP网络权值调试的关键是

1、保证输入层的权值能对输入变量进行规范，使输出分布在增长区结尾和饱和区之间

2、网络要能有1000次以上的迭代，迭代过程中，样本不能出现，在输入层输出后，就集中在饱和区内，样本的输出如果基本达到极限，该网络就没有任何意义，