贝叶斯分类器的matlab实现

function Bayes2
%版权为刘文所有，2008年4月20日
%算法视线见《模式识别》P33－P44（各类样本的协方差不相等）
%为了提高实验样本测试的精度，故采用多次模拟求平均值的方法
N=input('实验模拟次数 N(N最好为奇数)＝ ');
Result(1:3,1:3)=0;      %判别矩阵的初始化
for k=1:N             %控制程序模拟次数N
    %生成二维正态分布的样本2 X N 维的矩阵 
    X1=mvnrnd([1 2],[4 0;0 6],300)';   %2 X N
    X2=mvnrnd([5 3],[5 0;0 1],200)';
    X3=mvnrnd([4 7],[2 0;0 9],500)';   %样本程序
    %---------------------------------------------------%
    %测试样本
    X10=mvnrnd([1 2],[4 0;0 6],100)';   %2 X N
    X20=mvnrnd([5 3],[5 0;0 1],100)';
    X30=mvnrnd([4 7],[2 0;0 9],100)';  
    %先验概率
    P(1)=length(X1)/(length(X1)+length(X2)+length(X3));
    P(2)=length(X2)/(length(X1)+length(X2)+length(X3));
    P(3)=length(X3)/(length(X1)+length(X2)+length(X3));
    %计算相关量  cov(X)：协方差矩阵 Ave:均值
    %--------------------------------------------------------%
    W1=-1/2*inv(cov(X1')); W2=-1/2*inv(cov(X2')); W3=-1/2*inv(cov(X3'));%
    Ave1=(sum(X1')/length(X1))';Ave2=(sum(X2')/length(X2))';
    Ave3=(sum(X3')/length(X3))';%计算平均值(2维列向量)
    w1=inv(cov(X1'))*Ave1;w2=inv(cov(X2'))*Ave2;w3=inv(cov(X3'))*Ave3;%2
    w10=-1/2*Ave1'*inv(cov(X1'))*Ave1-1/2*log(det(cov(X1')))+log(P(1));
    w20=-1/2*Ave2'*inv(cov(X2'))*Ave2-1/2*log(det(cov(X2')))+log(P(2));
    w30=-1/2*Ave3'*inv(cov(X3'))*Ave3-1/2*log(det(cov(X3')))+log(P(3));
    %-----------------------------------------------------------%
    for i=1:3                                     
        for j=1:100                               
            if i==1
                g1=X10(:,j)'*W1*X10(:,j)+w1'*X10(:,j)+w10;  
                g2=X10(:,j)'*W2*X10(:,j)+w2'*X10(:,j)+w20;
                g3=X10(:,j)'*W3*X10(:,j)+w3'*X10(:,j)+w30;
                if g1>=g2&g1>=g3     
                    Result(1,1)=Result(1,1)+1;
                elseif g2>=g1&g2>=g3
                    Result(1,2)=Result(1,2)+1;%记录误判情况
                else
                    Result(1,3)=Result(1,3)+1;%记录误判情况
                end
            elseif i==2
                g1=X20(:,j)'*W1*X20(:,j)+w1'*X20(:,j)+w10;
                g2=X20(:,j)'*W2*X20(:,j)+w2'*X20(:,j)+w20;
                g3=X20(:,j)'*W3*X20(:,j)+w3'*X20(:,j)+w30;
                if g2>=g1&g2>=g3
                    Result(2,2)=Result(2,2)+1;
                elseif g1>=g2&g1>=g3
                    Result(2,1)=Result(2,1)+1;
                else
                    Result(2,3)=Result(2,3)+1;
                end
            else
                g1=X30(:,j)'*W1*X30(:,j)+w1'*X30(:,j)+w10;
                g2=X30(:,j)'*W2*X30(:,j)+w2'*X30(:,j)+w20;
                g3=X30(:,j)'*W3*X30(:,j)+w3'*X30(:,j)+w30;
                if g3>=g1&g3>=g2
                    Result(3,3)=Result(3,3)+1;
                elseif g2>=g1&g2>=g3
                    Result(3,2)=Result(3,2)+1;
                else
                    Result(3,1)=Result(3,1)+1;
                end
            end
        end
    end
end
%画出各样本的分布情况
subplot(2,1,1)
plot(X1(1,:),X1(2,:),'r.','LineWidth',2),hold on
plot(X2(1,:),X2(2,:),'go','LineWidth',2),hold on
plot(X3(1,:),X3(2,:),'b+','LineWidth',2),hold on
title('训练样本分布情况')
legend('训练样本1','训练样本2','训练样本3')
subplot(2,1,2)
plot(X10(1,:),X10(2,:),'r.','LineWidth',2),hold on
plot(X20(1,:),X20(2,:),'go','LineWidth',2),hold on
plot(X30(1,:),X30(2,:),'b+','LineWidth',2),hold on
title('测试样本分布情况')
legend('测试样本1','测试样本2','测试样本3')


Result=Result/N   %判别矩阵，反映Bayes的判别效果
%由于多次循环后存在小数，根据实际情况判别矩阵须取整
%如果N为偶数，可能出现小数为0.5的情况，此时将无法更加准确判断矩阵
%后面的是为得到更精确判别矩阵Result
for i=1:length(Result)
   if round(sum(Result(i,:)-fix(Result(i,:))))==1
        [m,n]=find(max(Result(i,:)-fix(Result(i,:)))==(Result(i,:)-fix(Result(i,:))));
        n=min(n);%存在小数点相同的情况随即选取一个
        for j=1:length(Result)
            if j==n
                Result(i,j)=fix(Result(i,j))+1;
            else
                Result(i,j)=fix(Result(i,j));
            end
        end
    elseif round(sum(Result(i,:)-fix(Result(i,:))))==2
        [m,n1]=find(max(Result(i,:)-fix(Result(i,:)))==(Result(i,:)-fix(Result(i,:))));
        [m,n2]=find(min(Result(i,:)-fix(Result(i,:)))==(Result(i,:)-fix(Result(i,:))));
        n1=min(n1);n2=min(n2);%如果有存在小数点相同的情况,随即选取一个
        for j=1:length(Result)
            if j==n1
                Result(i,j)=fix(Result(i,j))+1;
            elseif j==n2
                Result(i,j)=fix(Result(i,j));
            else
                Result(i,j)=fix(Result(i,j))+1;
            end
        end
    else
        continue,
    end
end

Result

解读：

mvnrnd（）函数产生多元正太随机样本数据

cov（）计算协方差矩阵，详细解释见matlab中的cov函数

X1，X2，X3：训练样本，用来产生后面的判别函数g1，g2，g3。

X10，X20，X30：测试样本，用来检测贝叶斯分类器的准确性。

Result：判别矩阵，反映Bayes的判别效果。