機器學習基石 (Machine Learning Foundations) 作业1 Q15-17的C++实现

大家好，我是Mac Jiang。今天和大家分享Coursera-台湾大学-機器學習基石 (Machine Learning Foundations) -作业1的Q15-17题的C++实现。这部分作业的任务主要是写一个PLA分类器，用于解决一个4维数据的分类问题。我的代码也许能较好的运行PLA算法，但它不一定是最好最快的实现过程，如果各位博友有更好的思路，请留言联系，谢谢！希望我的博客能给您带来一些学习上的帮助!
其他解答请看汇总帖：http://blog.csdn.net/a1015553840/article/details/51085129

PLA是一种十分简单，快速的分类算法，有速度快、实现简单的特点，特别适用于样本是线性可分的情况。对于线性可分的样本，PLA的实现过程为：
{
1.寻找w(t)的下一个错误分类点（x,y）（即sign（w(t)’*x）！=y）；
2.纠正错误：w(t+1) = w(t) + y*x；
}until(每个样本都无错)

1.第15题

（1）题意：从https://d396qusza40orc.cloudfront.net/ntumlone%2Fhw1%2Fhw1_15_train.dat 下为训练数据，他的x是4维的，而且这个数据集是线性可分的，编写PLA算法进行分类，问迭代多少次后算法结束？
（2）代码实现

#include<fstream>#include<iostream>#include<vector>using namespace std;#define DEMENSION 5double weight[DEMENSION];//权重值int step = 0;//修改次数int n = 0;//训练样本数char *file = "training_data.txt";//读取文件名//存储训练样本，input为x，output为ystruct record{    double input[DEMENSION];    int output;};//把记录存在向量里而不是存在结构体数组内，这样可以根据实际一项项添加vector<record> trainingSet;//将数据读入训练样本向量中void getData(ifstream &datafile){    while(!datafile.eof())    {        record curRecord;        curRecord.input[0] = 1;        int i;        for(i = 1; i < DEMENSION; i++){            datafile>>curRecord.input[i];        }        datafile>>curRecord.output;        trainingSet.push_back(curRecord);    }    datafile.close();    n = trainingSet.size(); }//计算sign值int sign(double x){    if(x <= 0)return -1;    else return 1;}//两向量相加(实际为数组相加)，将结果保存在第一个数组内，用于计算w(i+1)=w(i)+y*xvoid add(double *v1,double *v2,int demension){    int i;    for(i = 0;i < demension; i++)v1[i] += v2[i];}//计算两数值相乘值，用于判断w*x是否小于0，若小于0要执行修正算法double multiply(double *v1,double *v2,int demension){    double temp = 0.0;    int i;    for(i = 0; i < demension; i++)temp += v1[i] * v2[i];    return temp;}//计算实数num与向量乘积放在result中，用于计算y*xvoid multiply(double *result,double *v,int demension,int num){    int i;    for(i = 0; i < demension; i++)result[i] = num * v[i];}void PLA(){    int correctNum = 0;//当前连续正确样本数，当等于n则表明轮完一圈，则表示全部正确，算法结束    int index = 0;//当前正在计算第几个样本    bool isFinished = 0;//算法是否全部完成的表示，=1表示算法结束    while(!isFinished){        if(trainingSet[index].output == sign(multiply(weight,trainingSet[index].input,DEMENSION)))correctNum++;//当前样本无错，连续正确样本数+1        else{//出错，执行修正算法            double temp[DEMENSION];            multiply(temp,trainingSet[index].input,DEMENSION,trainingSet[index].output);//计算y*x            add(weight,temp,DEMENSION);//计算w(i+1)=w(i)+y*x            step++;//进行一次修正，修正次数+1            correctNum = 0;//由于出错了，连续正确样本数归0            cout<<"step"<<step<<":"<<endl<<"index="<<index<<" is wrong"<<endl;        }        if(index == n-1)index = 0;        else index++;        if(correctNum == n)isFinished = 1;    }    cout<<"total step:"<<step<<endl;}void main(){    ifstream dataFile(file);    if(dataFile.is_open()){        getData(dataFile);    }    else{        cout<<"出错，文件打开失败！"<<endl;        exit(1);    }    int i;    for(i = 0; i < DEMENSION; i++)weight[i] = 0.0;    PLA();}

（3）实验结果:

45次

2.第16题

（1）题意：由于样本的排列顺序不同，最终完成PLA分类的迭代次数也不同。这道题要求我们打乱训练样本的顺序，进行2000次PLA计算，得到平均迭代次数。
在C++中自带打乱顺序的算法：random_shuffle函数，在调用之前，需要#include
（2）实现：

#include<fstream>#include<iostream>#include<vector>#include<algorithm>using namespace std;#define DEMENSION 5double weight[DEMENSION];//权重值int step = 0;//修改次数int totalStep = 0;int n = 0;//训练样本数char *file = "training_data.txt";//读取文件名//存储训练样本，input为x，output为ystruct record{    double input[DEMENSION];    int output;};//把记录存在向量里而不是存在结构体数组内，这样可以根据实际一项项添加vector<record> trainingSet;//将数据读入训练样本向量中void getData(ifstream &datafile){    while(!datafile.eof())    {        record curRecord;        curRecord.input[0] = 1;        int i;        for(i = 1; i < DEMENSION; i++){            datafile>>curRecord.input[i];        }        datafile>>curRecord.output;        trainingSet.push_back(curRecord);    }    datafile.close();    n = trainingSet.size(); }//计算sign值int sign(double x){    if(x <= 0)return -1;    else return 1;}//两向量相加(实际为数组相加)，将结果保存在第一个数组内，用于计算w(i+1)=w(i)+y*xvoid add(double *v1,double *v2,int demension){    int i;    for(i = 0;i < demension; i++)v1[i] += v2[i];}//计算两数值相乘值，用于判断w*x是否小于0，若小于0要执行修正算法double multiply(double *v1,double *v2,int demension){    double temp = 0.0;    int i;    for(i = 0; i < demension; i++)temp += v1[i] * v2[i];    return temp;}//计算实数num与向量乘积放在result中，用于计算y*xvoid multiply(double *result,double *v,int demension,double num){    int i;    for(i = 0; i < demension; i++)result[i] =  num * v[i];}void PLA(){    int correctNum = 0;//当前连续正确样本数，当等于n则表明轮完一圈，则表示全部正确，算法结束    int index = 0;//当前正在计算第几个样本    bool isFinished = 0;//算法是否全部完成的表示，=1表示算法结束    while(!isFinished){        if(trainingSet[index].output == sign(multiply(weight,trainingSet[index].input,DEMENSION)))correctNum++;//当前样本无错，连续正确样本数+1        else{//出错，执行修正算法            double temp[DEMENSION];            multiply(temp,trainingSet[index].input,DEMENSION,trainingSet[index].output);//计算y*x            add(weight,temp,DEMENSION);//计算w(i+1)=w(i)+y*x            step++;//进行一次修正，修正次数+1            correctNum = 0;//由于出错了，连续正确样本数归0            //cout<<"step"<<step<<":"<<endl<<"index="<<index<<" is wrong"<<endl;        }        if(index == n-1)index = 0;        else index++;        if(correctNum == n)isFinished = 1;    }}void main(){    ifstream dataFile(file);    if(dataFile.is_open()){         getData(dataFile);     }     else{         cout<<"出错，文件打开失败！"<<endl;         exit(1);     }    int i;    for(i = 0; i < 2000; i++)    {      random_shuffle(trainingSet.begin(), trainingSet.end());      int j;      for(j = 0; j < DEMENSION; j++)weight[j] = 0.0;      PLA();      totalStep += step;      cout<<"第"<<i<<"次迭代的step:"<<step<<endl;      step = 0;    }    cout<<"average step:"<<totalStep/2000<<endl;}

（3）实验结果：

平均40次

3.第17题

这道题实现更加简单，只要在num之前*0.5就可以了

void multiply(double *result,double *v,int demension,double num){    int i;    for(i = 0; i < demension; i++)result[i] =  num * v[i];}

大约为40次

from：http://blog.csdn.net/a1015553840/article/details/50979434

其他解答请看汇总帖：http://blog.csdn.net/a1015553840/article/details/51085129