Machine Learning中算法的实现
来源:互联网 发布:mac视频截图快捷键 编辑:程序博客网 时间:2024/05/17 01:28
机器学习算法非常重要,基本的算法手动实现一次,有很好的学习效果。下面实现k紧邻算法、
k近邻算法简单、直观。它的核心思想非常简单,给定一个训练数据,对于新的输入实例,在训练数据集中赵傲与该实例最邻近额度k个实例,这k个实例的最多数属于某个类,就把输入实例分成这个类。k近邻模型实际上是对特徵空间的划分,模型的三个基本要素为:距离度量,k值选择和分类决策规则决定。对于距离的度量,我们一般选择为欧氏距离,分类决策的规则为民主投票,即哪一类的结果最多,就分为哪一类。
下面以手写数字识别为例,给出实现的代码:
from numpy import *import operatorfrom os import listdirdef classify0(inX, dataSet, labels, k): dataSetSize = dataSet.shape[0] diffMat = tile(inX, (dataSetSize,1)) - dataSet # A沿各个维度重复的次数 sqDiffMat = diffMat**2 sqDistances = sqDiffMat.sum(axis=1)#矩阵的每一行相加 distances = sqDistances**0.5 sortedDistIndicies = distances.argsort() classCount = {} for i in range(k): voteIlabel = labels[sortedDistIndicies[i]] classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 sortedClassCount = sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True) return sortedClassCount[0][0]def img2vector(filename): returnvector = zeros((1,1024)) fr = open(filename) for i in range(32): lineStr = fr.readline() for j in range(32): returnvector[0,32*i+j] = int(lineStr[j]) return returnvectordef handwritingClasstest(): hwLabels = [] trainingFilelist = listdir('trainingDigits') m = len(trainingFilelist) trainingMat = zeros((m,1024)) for i in range(m): filenameStr = trainingFilelist[i] fileStr = filenameStr.split('.')[0] classNumStr = int(fileStr.split('_')[0]) hwLabels.append(classNumStr) trainingMat[i,:] = img2vector('trainingDigits/%s' % filenameStr) testFileList = listdir('testDigits') errorCount = 0.0 mTest = len(testFileList) for i in range(mTest): filenameStr = testFileList[i] fileStr = filenameStr.split('.')[0] classNumStr = int(fileStr.split('_')[0]) vectorUnderTest = img2vector('testDigits/%s' % filenameStr) classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3) print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr) if (classifierResult != classNumStr): errorCount += 1.0 print "\nthe total number of errors is: %d" % errorCount print "\nthe total error rate is: %f" % (errorCount / float(mTest))if __name__ == '__main__': handwritingClasstest()运行之后的结果为:
我们可以看到,使用kNN识别的错误率为1.16%已经非常高了。
例子中使用的数据集下载地址为:http://archive.ics.uci.edu/ml 作者是土耳其的一位教授
0 0
- Machine Learning中算法的实现
- [Machine Learning]Kmeans 算法 python 实现
- [Machine Learning]PCA 算法 python 实现
- Machine Learning---LMS 算法
- Machine Learning---LMS 算法
- 【machine learning】KNN算法
- Machine Learning---LMS 算法
- Machine Learning-AdaBoost算法
- Machine Learning:PageRank算法
- Machine Learning:PageRank算法
- machine learning 常用算法
- Machine Learning In Action -- ID3决策树学习算法的python实现
- Machine Learning 之 SVM实现(个人认为最好的算法)
- Machine Learning 之Logistic回归算法中最小二乘法的Matlab曲线拟合
- Machine Learning 中Bayes
- C++ 实现k-means machine learning 算法 Computer Vision
- Machine Learning--第二章--Find-S算法实现
- 【Machine Learning】K-means算法及C语言实现
- crc 校验码的计算方法 (转载)
- 抛开 React 学习 React(1)
- wesphere8.5.5补丁列表
- 位操作
- 不正经运维狗的文档2_9
- Machine Learning中算法的实现
- 上大学之前,一定要明白这10大潜规则,你会少走很多人生弯路
- LeetCode099 Recover Binary Search Tree
- kafka 集群--3个broker 3个zookeeper创建实战
- 《CSS权威指南》读书笔记9
- 爱看电视的LsF(模拟)
- new/delete 与 malloc/free 的区别
- Android Handler 梳理
- LeetCode