KNN（一）--简单KNN原理及实现

原文：

http://blog.csdn.NET/damotiansheng/article/details/40628417

1. Knn算法介绍：

        百度百科：http://baike.baidu.com/view/1485833.htm?from_id=3479559&type=syn&fromtitle=knn&fr=aladdin，其内容如下：

邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法可以说是整个数据挖掘分类技术中最简单的方法了。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用她最接近的k个邻居来代表。

kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 

右图中，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。![图1//img.blog.csdn.net/20130502162127782)

KNN算法的决策过程

K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 KNN方法虽然从原理上也依赖于极限定理，但在类别决策时，只与极少量的相邻样本有关。由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。

KNN算法不仅可以用于分类，还可以用于回归。通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。更有用的方法是将不同距离的邻居对该样本产生的影响给予不同的权值(weight)，如权值与距离成反比。

[cpp] view plain copy

print?

1. #include “ml.h”  
2. #include “highgui.h”  
3.   
4. int main(int argc, char** argv)  
5.   
6. {  
7.     const int K = 10;  
8.   
9.     int i, j, k, accuracy;  
10.   
11.     float response;  
12.   
13.     int train_sample_count = 100;  
14.   
15.     CvRNG rng_state = cvRNG(-1);  
16.   
17.     CvMat* trainData = cvCreateMat(train_sample_count, 2, CV_32FC1);  
18.   
19.     CvMat* trainClasses = cvCreateMat(train_sample_count, 1, CV_32FC1);  
20.   
21.     IplImage* img = cvCreateImage(cvSize(500, 500), 8, 3);  
22.   
23.     float _sample[2];  
24.   
25.     CvMat sample = cvMat(1, 2, CV_32FC1, _sample);  
26.   
27.     cvZero(img);  
28.   
29.   
30.     CvMat trainData1, trainData2, trainClasses1, trainClasses2;  
31.   
32.   
33.   
34.     // form the training samples  
35.   
36.     cvGetRows(trainData, &trainData1, 0, train_sample_count / 2);  
37.   
38.     cvRandArr(&rng_state, &trainData1, CV_RAND_NORMAL, cvScalar(200, 200), cvScalar(50, 50));  
39.   
40.   
41.     cvGetRows(trainData, &trainData2, train_sample_count / 2, train_sample_count);  
42.   
43.     cvRandArr(&rng_state, &trainData2, CV_RAND_NORMAL, cvScalar(300, 300), cvScalar(50, 50));  
44.   
45.   
46.     cvGetRows(trainClasses, &trainClasses1, 0, train_sample_count / 2);  
47.   
48.     cvSet(&trainClasses1, cvScalar(1));  
49.   
50.   
51.     cvGetRows(trainClasses, &trainClasses2, train_sample_count / 2, train_sample_count);  
52.   
53.     cvSet(&trainClasses2, cvScalar(2));  
54.   
55.   
56.   
57.     // learn classifier  
58.     CvKNearest knn(trainData, trainClasses, 0, false, K);  
59.   
60.     CvMat* nearests = cvCreateMat(1, K, CV_32FC1);  
61.   
62.     for (i = 0; i < img->height; i++)  
63.   
64.     {  
65.   
66.         for (j = 0; j < img->width; j++)  
67.   
68.         {  
69.   
70.             sample.data.fl[0] = (float)j;  
71.   
72.             sample.data.fl[1] = (float)i;  
73.   
74.   
75.   
76.             // estimates the response and get the neighbors’ labels  
77.   
78.             response = knn.find_nearest(&sample, K, 0, 0, nearests, 0);  
79.   
80.   
81.   
82.             // compute the number of neighbors representing the majority  
83.   
84.             for (k = 0, accuracy = 0; k < K; k++)  
85.   
86.             {  
87.   
88.                 if (nearests->data.fl[k] == response)  
89.   
90.                     accuracy++;  
91.   
92.             }  
93.   
94.             // highlight the pixel depending on the accuracy (or confidence)  
95.   
96.             cvSet2D(img, i, j, response == 1 ?  
97.   
98.                 (accuracy > 5 ? CV_RGB(180, 0, 0) : CV_RGB(180, 120, 0)) :  
99.   
100.                 (accuracy > 5 ? CV_RGB(0, 180, 0) : CV_RGB(120, 120, 0)));  
101.   
102.         }  
103.   
104.     }  
105.   
106.   
107.   
108.     // display the original training samples  
109.   
110.     for (i = 0; i < train_sample_count / 2; i++)  
111.   
112.     {  
113.   
114.         CvPoint pt;  
115.   
116.         pt.x = cvRound(trainData1.data.fl[i * 2]);  
117.   
118.         pt.y = cvRound(trainData1.data.fl[i * 2 + 1]);  
119.   
120.         cvCircle(img, pt, 2, CV_RGB(255, 0, 0), CV_FILLED);  
121.   
122.         pt.x = cvRound(trainData2.data.fl[i * 2]);  
123.   
124.         pt.y = cvRound(trainData2.data.fl[i * 2 + 1]);  
125.   
126.         cvCircle(img, pt, 2, CV_RGB(0, 255, 0), CV_FILLED);  
127.   
128.     }  
129.   
130.   
131.   
132.     cvNamedWindow(”classifier result”, 1);  
133.   
134.     cvShowImage(”classifier result”, img);  
135.   
136.     cvWaitKey(0);  
137.   
138.   
139.   
140.     cvReleaseMat(&trainClasses);  
141.   
142.     cvReleaseMat(&trainData);  
143.   
144.     return 0;  
145.   
146. }