k-NN算法

本内容整理自coursera,欢迎交流转载。

1. 1-NN算法

对于数据集，
initialize dis=+∞for i=1,2,…,N    compute: δ=dis(xi,xq)     if δ<dis:       set dis=dis(x1,xq)return most similiar data

2. k-NN算法

下面介绍k-NN算法。
Initialize dis=sort(δ1,δ2,…,δk)[随便前k个数据,从小到大]for i=k+1,…,N:    compute:δ=distance(xi,sq)    if δ<dis[k]:        find j such that δ>dis[j−1] but lower than dis[j]        remove further data and shift queue        dis[j+1:k]=dis[j:k−1]        dis[j]=δreturn k most similar data

3.TF-IDF

相关内容请参阅我的这篇博客。

4.距离的描述

4.1最常用的欧氏距离：

disi−q=∑Dj=1[xi[j]−xq[j]]2−−−−−−−−−−−−−−−−√  假设D个特征
很多时候我们希望不同的特征具有不同的权重，于是我们得到scaled euclidean distance:
disi−q=∑Dj=1[xi[j]−xq[j]]2−−−−−−−−−−−−−−−−√  假设D个特征          =(xi−xq)TA(xi−xq)−−−−−−−−−−−−−−−−−√

4.2 cosine similarity

定义：
cosine similarity=∑dj=1xi[j]xq[j]∑dj=1x2i[j]√∑dj=1x2q[j]
那么：
dis=1−cosine similarity
距离范围是（-1,1）

5 graphlab里K-NN算法的使用

model = graphlab.nearest_neighbors.create(wiki, label='name', features=['word_count'],method='brute_force', distance='euclidean')model.query(wiki[wiki['name']=='Barack Obama'], label='name', k=10)