机器学习技法实现（一）：AdaBoost- Decision Stump （AdaBoost - 决策树的基于Matlab的实现）

经过前面对AdaBoost的总结，下面要基于Matlab实现AdaBoost-Stump进行二维平面数据点的分类的实验。

一. 实验原理

参看 http://blog.csdn.net/lg1259156776/article/details/46831191

<boosting：三个臭皮匠赛过诸葛亮，adaptive：逐步（级联）>

二. 实验方法

生成一个可以利用sine线进行分割的数据点样本，然后通过AdaBoost - decision stump对数据点进行学习，最后得出能够将数据点样本进行分类的分割线。如下图所示：

实际上就是将一堆（T个）decision stump进行vote，然后得到一个比较复杂的分界线，实际上就是对实现利用阶跃函数对正弦函数进行逼近的。

<1> 生成training data 和 testing data : GenerateTrainDataSet

随机生成0-2pi之间数作为x1，随机生成0-4之间的数作为x2，设定的最理想的x2 = sin(x1) + 2，通过判定point(x1,x2)在曲线的上下方来给定标记y，如果在上方则为1，如果在下方则为0。

% ========================================================================% 功能：生成具有正弦分界线的training data set% function [TrainData, TestData] = GenerateTrainDataSet(nTrainSize, nTestSize)TrainData = zeros(nTrainSize,3);TestData = zeros(nTestSize,3);figure;hold on;%生成training datatitle('training data')for m = 1 : nTrainSize;    TrainData(m,1) =2 * pi * rand();                            % 1 对应x1    %TrainData(m,2) = sin(TrainData(m,1)) + rand() - 0.5;       % 2 对应x2    TrainData(m,2) = 4 * rand();    if(TrainData(m,2) >= sin(TrainData(m,1)) + 2)               % 3 对应y         TrainData(m,3) = 1;        plot(TrainData(m,1),TrainData(m,2),'*b','MarkerSize',10);        hold on;    else        TrainData(m,3) = 0;        plot(TrainData(m,1),TrainData(m,2),'or','MarkerSize',10);        hold on;    end;end;%生成testing datafigure;hold on;title('testing data')for m = 1 : nTestSize;    TestData(m,1) =2 * pi * rand();                             % 1 对应x1    %TrainData(m,2) = sin(TrainData(m,1)) + rand() - 0.5;       % 2 对应x2    TestData(m,2) = 4 * rand();    if(TestData(m,2) >= sin(TestData(m,1)) + 2)                 % 3 对应y         TestData(m,3) = 1;        plot(TestData(m,1),TestData(m,2),'*b','MarkerSize',10);        hold on;    else        TestData(m,3) = 0;        plot(TestData(m,1),TestData(m,2),'or','MarkerSize',10);        hold on;    end;end;

下图是生成的训练样本，N = 500

下图是生成的测试数据集，N = 100

<2> 设计演算法对training data进行学习

根据AdaBoost原理，对于learning algorithm A来讲，minimize Error时不用特别的费劲选择Error最小的，只要我们能够选出加权分类error < 0.5 的分类器g(k)就可以了。因此在设计decision stump ： Hypothesis h = s * sign(X(i) - theta)时，对于其中的三个参数(feature i, threshold theta, direction s）采用了随机均匀获得的方式，同时满足error比乱猜（丢硬币）要小就行。下面就是decision stump的详细代码：

%=========================================================================%% decision stump 模型% 输入：（X，y, u) (re-weighted error : u)，(X,y) data set (supervised)% u(i)标记X(i)的权重，或者是bootstrap中样本点采样次数的归一化结果% 输出(feature i, threshold theta, direction s, error, label[n]): % label[n]标记每个数据点分类是否犯错，犯错了标记为1，正确标记为0% 构成Hypothesis h = s * sign(X(i) - theta)% s为direction，s = +1表示xi>theta为输出标记为+1，s = -1 表示xi<theta输出+1% i表示某个维度，decision stump通常只选择某一维度进行分割，类似水平线和竖直线% theta代表分割阈值% 下面秉持一种信念尝试一下：只要找到比随机猜要好的h就可以了% 算法思路：随机选取 feature_i，direction s和threshold theta，计算加权误差% 反复迭代直到error < 0.5 (比随机乱猜好一点，weak classifier)即可%=========================================================================%function [feature_i, theta, s , error, label] = decison_stump(X, y, u)while(1)    if(rand()>0.5) feature_i = 1;else feature_i = 2; end;                                   %随机选取feature i    if(rand()>0.5) s = 1;else s = -1; end;                                                  %随机选取direction s    theta = ( max(X(:,feature_i)) - min(X(:,feature_i)) ) * rand() + min(X(:,feature_i));   %随机选取direction s        error = 0;        for n = 1 : length(X(:,feature_i));        if(s == 1)                                                                          % 大于为1，小于为0            label(n) = 1 - ( (X(n,feature_i) >= theta) == y(n) );                           %犯错了标记为1，正确标记为0            error = error + u(n) * label(n);        else            label(n) = 1 - ( (X(n,feature_i) <= theta) == y(n) );            error = error + u(n) * label(n) ;        end;             end;        if( error < 0.5 )         break;    end;    end

之后就是AdaBoost中重要的一环：更新bootstrap中的数据re-sample的权重u，当然是根据实验原理中的步骤进行，将分类错误的点的重采样权重提高，再次训练decision stump，因为这种更新方式一方面从data diversity上保证了g的多样性，另一方面，通过调整犯错的点的采样权重，使得g(k)在采样权重u(k+1)的样本data上的分类错误与随机乱猜一样，从而保证了g(k)与g(k+1)的不同，也是diversity的一种设计。下面是adaboost的详细代码：

%=========================================================================%% adaboost，实现对u的调节，以及后续的vote（decision stump 的融合）% 实际上是完成了bootstrap，对数据进行re-sample，得到放大错误分类数据的u% 输入：u_0(u(k)), error(gk对应的分类误差), label(data是否分类错误的标签)% 输出：u_1(u(k+1)), alpha(gk对应的融合权重)% error = 0.5, 则delta = 1,alpha() = 0,随机猜测的g的权重为0% error = 0，则delta = ∞,alpha() = ∞,有理由让完全分类对的g的权重为∞%=========================================================================%function [u_1, alpha] = my_adaboost(u_0, error, label)N = length(label); %数据大小delta = sqrt((1-error)/error);  for n = 1 : N    if(label(n) == 1) u_1(n) = u_0(n) * delta; else u_1(n) = u_0(n) / delta; end;end;alpha = log(delta);

最后就是设计实验进行训练和测试，具体的解释见代码注释：

%=========================================================================%% 利用生成的training data和testing data对AdaBoosting decision stump进行学习% 设置在同一数据集下的演示测试为tTimes: 训练的迭代次数自增100，初始为T = 100% 观察在同一个数据集下不同迭代次数AdaBoost融合的G在test集上的分类正确率% 流程：生成数据集，开启循环训练-测试，并输出分类效果%%% 生成数据集并初始化参数nTrainSize = 1000;nTestSize = 100;[TrainData, TestData] = GenerateTrainDataSet(nTrainSize, nTestSize);tTimes = 10;T = 0;f = fopen('Testing Results.txt','w');%% % 开启tTimes次训练和测试for times = 1 : tTimes;    T = T + 100;    u0 = 1/nTrainSize * ones(1, nTrainSize);                               % 初始化bootstrap采样权重为均匀分布    X = TrainData(:,1:2);                                                  % 提取输入X    y = TrainData(:,3);                                                    % 提取标签y    g_set = zeros(4, T);                                                   % 初始化g_set集合：存储decision stump的参数（feature_i,theta,s）,再存入一个error性能    label = zeros(1, nTrainSize);                                          % data 分类错误标签    alpha = zeros(1, T);                                                   % g_set融合权重    %%    % 主循环迭代训练得到g_set，alpha    for n = 1 : T;        [g_set(1,n) g_set(2,n) g_set(3,n) g_set(4,n) label] = ...            decision_stump(X, y, u0);        [u_1, alpha(n)] = my_adaboost(u0, g_set(4,n), label);        u0 = u_1;    end;    %%     % 如何把这个g的融合边界绘制出来才是问题的关键所在    % 不如直接进行测试算了    % 直接利用训练得到的g_set和alpha对testing data进行测试，求出分类正确率       X = TestData(:,1:2);    y = TestData(:,3);    vote = zeros(1, nTestSize);    % X = TrainData(:,1:2);    % y = TrainData(:,3);    % vote = zeros(1, nTrainSize);    sucess_rate = 0;    %%     % vote , aggregation, adaboost    for m = 1 : T;        feature_i = g_set(1,m); theta = g_set(2,m); s = g_set(3,m);         for n = 1 : length(X(:,feature_i));                if(s == 1)                                                 % 大于为1，小于为0                    label(n) = ( (X(n,feature_i) >= theta) );              % 犯错了标记为1，正确标记为0                  else                    label(n) = ( (X(n,feature_i) <= theta) );                end;                vote(n) = vote(n) + alpha(m) * label(n)/sum(alpha);        % 利用归一化的alpha进行加权融合                %vote(n) = vote(n) + 1/T * label(n);                       % 利用无权重的融合效果经测试不好                if(m == T)                     sucess_rate = sucess_rate + ((vote(n)>0.5) == y(n));                end;        end;    end;    fprintf('第%d次训练的g_set集大小为%d，测试数据分类成功率为%f\n',times,T,sucess_rate/nTestSize);%     display('测试数据分类成功率为：');%     display(sucess_rate/nTestSize);end;fclose(f);

三. 实验结果

adaboost_decision_stump_test
第1次训练的g_set集大小为100，测试数据分类成功率为0.870000
第2次训练的g_set集大小为200，测试数据分类成功率为0.870000
第3次训练的g_set集大小为300，测试数据分类成功率为0.930000
第4次训练的g_set集大小为400，测试数据分类成功率为0.940000
第5次训练的g_set集大小为500，测试数据分类成功率为0.940000
第6次训练的g_set集大小为600，测试数据分类成功率为0.960000
第7次训练的g_set集大小为700，测试数据分类成功率为0.890000
第8次训练的g_set集大小为800，测试数据分类成功率为0.970000
第9次训练的g_set集大小为900，测试数据分类成功率为0.950000
第10次训练的g_set集大小为1000，测试数据分类成功率为0.930000

四 分析与讨论

从实验结果中可以看出，虽然每一个decision stump单独工作进行分类的误差仅仅比随即乱猜要好一些，但是经过AdaBoost的设计，我们得到一系列的diversity的decision stump: g，通过aggregation将其融合，从而得到一个较强的分类器。（weak classifier -> strong classifier）从而实现了“三个臭皮匠赛过诸葛亮”的预言。

另外，值得进一步去完善的地方是：本次实验程序并没有将构造出来的分类器分割边界绘制出来，所以没能很形象的展示出利用AdaBoost + decision stump能够实现对复杂非线性函数的逼近、拟合的能力。而通过测试结果不难想象出分类边界的模样。

有兴趣的可以进一步编写函数把整个融合后的G的分割边界绘制出来，形成第一幅图进行演示的效果！

*************************************************随时记录，随时分享****************************************************