机器学习(3)——KNN算法及手写数字的识别（一）

机器学习——KNN算法及手写数字的识别（一）

邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。

搬出一张最常见的图，来直观的展示什么是KNN算法：

  kNN比较好理解，其一般过程如下：

    对未知类别属性的数据集中的每个点依次执行以下操作：

1、计算已知类别数据集中的点与当前点之前的距离

2、按照距离递增次序排序

3、选取与当前点距离最小的k个点

4、确定前k个点所在类别的出现概率

5、返回前k个点出现频率最高的类别作为当前点的预测分类

 

下面我们给出一个利用kNN算法实现手写数字识别的例子，这个例子在Machine Learning in Action一书中是用Python描述的，这里为了加深理解我用C++进行重写。

1、读取指定文件夹下的所有训练样本文件名：

// path: 路径， files 文件名， format 文件格式 [3/7/2015 pan]void GetAllFormatFiles(string path, vector<string>& files, string format){//文件句柄    long   hFile = 0;//文件信息    struct _finddata_t fileinfo;string p;if ((hFile = _findfirst(p.assign(path).append("\\*" + format).c_str(), &fileinfo)) != -1){do{if ((fileinfo.attrib &  _A_SUBDIR)){if (strcmp(fileinfo.name, ".") != 0 && strcmp(fileinfo.name, "..") != 0){//files.push_back(p.assign(path).append("\\").append(fileinfo.name) );  GetAllFormatFiles(p.assign(path).append("\\").append(fileinfo.name), files, format);}}else{files.push_back(p.assign(path).append("\\").append(fileinfo.name));}} while (_findnext(hFile, &fileinfo) == 0);_findclose(hFile);}}

2、返回原始队列索引的排序算法

vector<int> insertSort(vector<int> nums){vector<int> sortedIndx;for (int i = 0; i<nums.size(); i++){sortedIndx.push_back(i);}for (int j = 1; j < nums.size(); j++){int key = nums[j];int indx = sortedIndx[j];int i = j - 1;while (i>=0&&nums[i]>key){nums[i + 1] = nums[i];sortedIndx[i + 1] = sortedIndx[i];i--;}nums[i + 1] = key;sortedIndx[i + 1] = indx;}return sortedIndx;}

3、读取文本文件内容，存入一维向量

vector<int> imageToVector(string fileName){vector<int> returnVector;fstream infile;infile.open(fileName, ios::in);while (!infile.eof()){char buffer[256];infile.getline(buffer, 256);for (int i = 0; i < 32; i++){returnVector.push_back(buffer[i] - 48);// 字符转int [3/4/2015 pan]}}return returnVector;}

4、KNN算法的实现

// inX 待分类向量，dataSet 训练数据集，labels 训练数据的类别(0,1,2,3,4,5,6,7,8,9)，k  [3/4/2015 pan]int classify(vector<int> inX, vector<vector<int>> dataSet, vector<int> labels, int k){int dataSetSize = dataSet.size();int labelsum = 0;vector<int> distances;for (int i = 0; i < dataSetSize; i++){int sum = 0;for (int j = 0; j < inX.size(); j++){int tmp = inX[j] - dataSet[i][j];tmp *= tmp;sum += tmp;}sum=sqrt(sum);distances.push_back(sum);}vector<int> sortedDistIndix;sortedDistIndix = insertSort(distances);for (int i = 0; i < k; i++){labelsum += labels[sortedDistIndix[i]];}return labelsum / k + 0.5;}

5、最终测试

int _tmain(int argc, _TCHAR* argv[]){string path = "G:\\A编程练习\\机器学习&Python\\handWritingTest\\digits\\trainingDigits";string format = "txt";vector<string> files;GetAllFormatFiles(path, files, format);fstream infile;vector<vector<int>> traingMat;vector<int> labels;for (int i = 0; i < files.size(); i++){//cout << path.size();string str;str.assign(files[i], path.size()+1,1);const char *c = str.c_str();labels.push_back(*c - 48);traingMat.push_back(imageToVector(files[i]));}string testFileName = "G:\\A编程练习\\机器学习&Python\\handWritingTest\\digits\\testDigits\\8_73.txt";vector<int> inX = imageToVector(testFileName);int result = classify(inX, traingMat, labels, 8);return 0;}

手写数字样本：

样本下载链接：

http://download.csdn.net/detail/panan160/8480055