matlab BP神经网络 机器学习 函数逼近

1、BP网络构建

（1）生成BP网络

：由维的输入样本最小最大值构成的维矩阵。

：各层的神经元个数。

：各层的神经元传递函数。

：训练用函数的名称。

（2）网络训练

（3）网络仿真

{'tansig','purelin'},'trainrp'

BP网络的训练函数    

训练方法

训练函数

梯度下降法

traingd

有动量的梯度下降法

traingdm

自适应lr梯度下降法

traingda

自适应lr动量梯度下降法

traingdx

弹性梯度下降法

trainrp

Fletcher-Reeves共轭梯度法

traincgf

Ploak-Ribiere共轭梯度法

traincgp

Powell-Beale共轭梯度法

traincgb

量化共轭梯度法

trainscg

拟牛顿算法

trainbfg

一步正割算法

trainoss

Levenberg-Marquardt

trainlm

 

BP网络训练参数

训练参数

参数介绍

训练函数

net.trainParam.epochs

最大训练次数（缺省为10）

traingd、traingdm、traingda、traingdx、trainrp、traincgf、traincgp、traincgb、trainscg、trainbfg、trainoss、trainlm

net.trainParam.goal

训练要求精度（缺省为0）

traingd、traingdm、traingda、traingdx、trainrp、traincgf、traincgp、traincgb、trainscg、trainbfg、trainoss、trainlm

net.trainParam.lr

学习率（缺省为0.01）

traingd、traingdm、traingda、traingdx、trainrp、traincgf、traincgp、traincgb、trainscg、trainbfg、trainoss、trainlm

net.trainParam.max_fail

最大失败次数（缺省为5）

traingd、traingdm、traingda、traingdx、trainrp、traincgf、traincgp、traincgb、trainscg、trainbfg、trainoss、trainlm

net.trainParam.min_grad

最小梯度要求（缺省为1e-10）

traingd、traingdm、traingda、traingdx、trainrp、traincgf、traincgp、traincgb、trainscg、trainbfg、trainoss、trainlm

net.trainParam.show

显示训练迭代过程（NaN表示不显示，缺省为25）

traingd、traingdm、traingda、traingdx、trainrp、traincgf、traincgp、traincgb、trainscg、trainbfg、trainoss、trainlm

net.trainParam.time

最大训练时间（缺省为inf）

traingd、traingdm、traingda、traingdx、trainrp、traincgf、traincgp、traincgb、trainscg、trainbfg、trainoss、trainlm

net.trainParam.mc

动量因子（缺省0.9）

traingdm、traingdx

net.trainParam.lr_inc

学习率lr增长比（缺省为1.05）

traingda、traingdx

net.trainParam.lr_dec

学习率lr下降比（缺省为0.7）

traingda、traingdx

net.trainParam.max_perf_inc

表现函数增加最大比（缺省为1.04）

traingda、traingdx

net.trainParam.delt_inc

权值变化增加量（缺省为1.2）

trainrp

net.trainParam.delt_dec

权值变化减小量（缺省为0.5）

trainrp

net.trainParam.delt0

初始权值变化（缺省为0.07）

trainrp

net.trainParam.deltamax

权值变化最大值（缺省为50.0）

trainrp

net.trainParam.searchFcn

一维线性搜索方法（缺省为srchcha）

traincgf、traincgp、traincgb、trainbfg、trainoss

net.trainParam.sigma

因为二次求导对权值调整的影响参数（缺省值5.0e-5）

trainscg

net.trainParam.lambda

Hessian矩阵不确定性调节参数（缺省为5.0e-7）

trainscg

net.trainParam.men_reduc

控制计算机内存/速度的参量，内存较大设为1，否则设为2（缺省为1）

trainlm

net.trainParam.mu

的初始值（缺省为0.001）

trainlm

net.trainParam.mu_dec

的减小率（缺省为0.1）

trainlm

net.trainParam.mu_inc

的增长率（缺省为10）

trainlm

net.trainParam.mu_max

的最大值（缺省为1e10）

trainlm

2、BP网络举例

举例1、

%traingdclear;clc;P=[-1 -1 2 2 4;0 5 0 5 7];T=[-1 -1 1 1 -1];%利用minmax函数求输入样本范围net = newff(minmax(P),[5,1],{'tansig','purelin'},'trainrp'); net.trainParam.show=50;%net.trainParam.lr=0.05;net.trainParam.epochs=300;net.trainParam.goal=1e-5;[net,tr]=train(net,P,T); net.iw{1,1}%隐层权值net.b{1}%隐层阈值 net.lw{2,1}%输出层权值net.b{2}%输出层阈值 sim(net,P)

 

举例2、利用三层BP神经网络来完成非线性函数的逼近任务，其中隐层神经元个数为五个。

样本数据：

输入X

输出D

输入X

输出D

输入X

输出D

-1.0000

-0.9602

-0.3000

0.1336

0.4000

0.3072

-0.9000

-0.5770

-0.2000

-0.2013

0.5000

0.3960

-0.8000

-0.0729

-0.1000

-0.4344

0.6000

0.3449

-0.7000

0.3771

0

-0.5000

0.7000

0.1816

-0.6000

0.6405

0.1000

-0.3930

0.8000

-0.3120

-0.5000

0.6600

0.2000

-0.1647

0.9000

-0.2189

-0.4000

0.4609

0.3000

-0.0988

1.0000

-0.3201

解：

看到期望输出的范围是，所以利用双极性Sigmoid函数作为转移函数。

程序如下：

clear;clc;X=-1:0.1:1;D=[-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609...    0.1336 -0.2013 -0.4344 -0.5000 -0.3930 -0.1647 -.0988...    0.3072 0.3960 0.3449 0.1816 -0.312 -0.2189 -0.3201];figure;plot(X,D,'*'); %绘制原始数据分布图（附录：1-1）net = newff([-1 1],[5 1],{'tansig','tansig'});net.trainParam.epochs = 100; %训练的最大次数net.trainParam.goal = 0.005; %全局最小误差net = train(net,X,D); O = sim(net,X); figure; plot(X,D,'*',X,O); %绘制训练后得到的结果和误差曲线（附录：1-2、1-3）V = net.iw{1,1}%输入层到中间层权值theta1 = net.b{1}%中间层各神经元阈值W = net.lw{2,1}%中间层到输出层权值theta2 = net.b{2}%输出层各神经元阈值

所得结果如下：

 

举例3、利用三层BP神经网络来完成非线性函数的逼近任务，其中隐层神经元个数为五个。

样本数据：

输入X

输出D

输入X

输出D

输入X

输出D

0

0

4

4

8

2

1

1

5

3

9

3

2

2

6

2

10

4

3

3

7

1

 

 

解：

看到期望输出的范围超出，所以输出层神经元利用线性函数作为转移函数。

程序如下：

clear; clc;X = [0 1 2 3 4 5 6 7 8 9 10];D = [0 1 2 3 4 3 2 1 2 3 4];figure;plot(X,D,'*'); %绘制原始数据分布图net = newff([0 10],[5 1],{'tansig','purelin'})net.trainParam.epochs = 100;net.trainParam.goal=0.005;net=train(net,X,D);O=sim(net,X);figure;plot(X,D,'*',X,O); %绘制训练后得到的结果和误差曲线（附录：2-2、2-3）V = net.iw{1,1}%输入层到中间层权值theta1 = net.b{1}%中间层各神经元阈值W = net.lw{2,1}%中间层到输出层权值theta2 = net.b{2}%输出层各神经元阈值

问题：以下是上证指数2009年2月2日到3月27日的收盘价格，构建一个三层BP神经网络，利用该组信号的6个过去值预测信号的将来值。

 

日期

价格

日期

价格

2009/02/02

2011.682

2009/03/02

2093.452

2009/02/03

2060.812

2009/03/03

2071.432

2009/02/04

2107.751

2009/03/04

2198.112

2009/02/05

2098.021

2009/03/05

2221.082

2009/02/06

2181.241

2009/03/06

2193.012

2009/02/09

2224.711

2009/03/09

2118.752

2009/02/10

2265.161

2009/03/10

2158.572

2009/02/11

2260.822

2009/03/11

2139.021

2009/02/12

2248.092

2009/03/12

2133.881

2009/02/13

2320.792

2009/03/13

2128.851

2009/02/16

2389.392

2009/03/16

2153.291

2009/02/17

2319.442

2009/03/17

2218.331

2009/02/18

2209.862

2009/03/18

2223.731

2009/02/19

2227.132

2009/03/19

2265.761

2009/02/20

2261.482

2009/03/20

2281.091

2009/02/23

2305.782

2009/03/23

2325.481

2009/02/24

2200.652

2009/03/24

2338.421

2009/02/25

2206.572

2009/03/25

2291.551

2009/02/26

2121.252

2009/03/26

2361.701

2009/02/27

2082.852

2009/03/27

2374.44

 

 

 

 

 

load data3_1.txt;[m,n]=size( data3_1); tsx = data3_1(1:m-1,1);tsx=tsx';ts = data3_1(2:m,1);ts=ts';[TSX,TSXps]=mapminmax(tsx,1,2);[TS,TSps]=mapminmax(ts,1,2);TSX=TSX';  figure;plot(ts,'LineWidth',2);title('到杭旅游总人数(1999.01.01-2009.12.31)','FontSize',12);xlabel('统计年份(1990.12.19-2009.08.19)','FontSize',12);ylabel('归一化后的总游客数/万人','FontSize',12);grid on; % 生成BP网络、利用minmax函数求输入样本范围net_1=newff(minmax(TS),[10,1],{'tansig','purelin'},'traincgf') % 设置训练参数net_1.trainParam.show = 50;  %显示训练迭代过程（NaN表示不显示，缺省25）net_1.trainParam.lr = 0.025;     %学习率（缺省0.01）net_1.trainParam.mc = 0.9;   %动量因子（缺省0.9）net_1.trainParam.epochs = 10000; %最大训练次数net_1.trainParam.goal = 0.001;   %训练要求精度  inputWeights=net_1.IW{1,1}  %输入层权值inputbias=net_1.b{1}         %输入层阈值 layerWeights=net_1.LW{2,1}  %输出层权值layerbias=net_1.b{2}         %输出层阈值 TS',TSX% 网络训练 [net_1,tr]=train(net_1,TS,TSX);