BP算法的回归

近日看模式识别相关的书，接触到一些常见的机器学习算法，虽然书中对于算法的理论介绍很清晰，但是很少给出算法的具体函数定义，所以我就想通过书中的介绍和已有别人的代码，自己整理出来算法的matlab实现。

BP算法通常用在三层神经网络，三层：输入层、隐藏层、输出层，其中输入层与输出层的数据都是已知的，但是输入与隐藏层之间的连接w、隐藏层与输出层的连接v未知。我们首先为w v设定一组初始值，相当于认为的构造了网络内部的参数，然后给神经网络一组输入，网络在初始参数的变换下产生一组输出，当然这个输出不可能跟你实际的输出相同，下一步就是用这组网络输出跟实际输出做差值，用这个误差再反过来调节w v，如此循环，直到模型的输出误差满足要求。

1.BP算法的函数定义

function [TestingTime, TestingAccuracy,PreY] = bp(train,test, IN, HN, times,limit,alpha,beta)
%input and output must be row vector
%HN means numbers of hidden-node
%times and limit give the condition of quit the loop 
%alpha is in 0.9~1,beta is in 0.1~3,but youcan adjust them to any value as need
 
input=train(1:IN,:);output=train((IN+1):end,:);
[m,N]=size(input);[n,N]=size(output);
%%输入元素归一化
minx=min(min(input));maxx=max(max(input));
input=(input-minx)/(maxx-minx);
%%输出元素归一化
miny=min(min(output));maxy=max(max(output));
output=(output-miny)/(maxy-miny);

w=rand(HN,m)*2-1;v=rand(n,HN)*2-1;
w0=zeros(size(w));v0=zeros(size(v));
epoch=0;
while(epoch<times)
    epoch=epoch+1;
    %计算隐含层各神经元的输出
    NETi=w*input;
    Oi=sigmf(NETi,[1,0]);
    %计算输出层各神经元输出
    NETk=v*Oi;
    Ok=sigmf(NETk,[1,0]);
    %计算全局误差函数
    errtp=output-Ok;
    Accuracy=0.5*errtp*errtp';
    y_delta=errtp.*Ok.*(1-Ok);
    %计算隐含层误差函数
    errtp=v'*y_delta;
    hn_delta=errtp.*Oi.*(1-Oi);
    
    %调整输出层加权系数
    v0=alpha*v0+beta*y_delta*Oi';
    v=v+v0;
    %调整隐含层加权系数
    w0=alpha*w0+beta*hn_delta*input';
    w=w+w0;
    %判断误差是否足够小
      if Accuracy<limit
        break;
      end
end

%BP网络的第二阶段工作期（根据训练好的w，v和给定的输入计算输出）
%%输入元素归一化
t0=cputime;
Tinput=test(1:IN,:);
Tinput=(Tinput-minx)/(maxx-minx);
%%输出元素归一化
output=test((IN+1):end,:);
output=(output-miny)/(maxy-miny);
%计算隐含层各神经元输出
NETi=w*Tinput;
Oi=sigmf(NETi,[1,0]);
%计算输出层各神经元的输出
NETk=v*Oi;
Ok=sigmf(NETk,[1,0]);
%%计算输出的均方差
errtp=output-Ok;
TestingAccuracy=sqrt(errtp*errtp');
%%输出算法预测结果
PreY=Ok*(maxy-miny)+miny;
t1=cputime;
TestingTime=t1-t0;

2.一个函数运行的实例验证

X=0.1:0.1:5;
Y=power(X,2);
train=[X;Y];

x=2.1:0.1:4;

y=power(x,2);

test=[x;y];
[estingTime, TestingAccuracy,PreY] = bp(train,test,1, 8, 1000,0.001,0.1,0.1);
figure
plot(x,y,'b',x,PreY,'r');