机器学习实战代码详解（四）朴素贝叶斯

#coding=utf-8from numpy import *#--------词表到向量对转换函数---------#创建实验样本def loadDataSet():    postingList = [['my', 'dog', 'has', 'flea', 'problem', 'help', 'please'],                   ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],                   ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],                   ['stop', 'posting', 'stupid', 'worthless', 'garbage'],                   ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],                   ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]    classVec = [0, 1, 0, 1, 0, 1]  #1代表侮辱性文字，0代表正常言论    return postingList, classVec#创建包含在所有文档中不出现重复词对列表def createVocabList(dataSet):    vocabSet = set([])                          #创建一个空的集合    for document in dataSet:        vocabSet = vocabSet | set(document)     #求并集    return list(vocabSet)#获取文档向量，向量的每一个元素为1或者0，分别表示词表中的单词在输入文档中是否出现def setOfWords2Vec(vocabList, inputSet):    returnVec = [0]*len(vocabList)    for word in inputSet:        if word in vocabList: returnVec[vocabList.index(word)] = 1        else: print "the word: %s is not in my Vocabulary! " % word    return  returnVec#--------朴素贝叶斯分类器训练函数---------#计算p(wi|c1), p(wi|c0)def trainNB0(trainMatrix, trainCategory):    numTrainDocs = len(trainMatrix)                      #训练样本的数量    numWords = len(trainMatrix[0])                       #训练特征数量    pAbusive = sum(trainCategory)/float(numTrainDocs)    #任意文档归属侮辱性文档对 概率    p0Num = ones(numWords); p1Num = ones(numWords)     #初始化概率，特征出现次数初始化为0    p0Demon = 2.0; p1Demon = 2.0                        #没出现过对概率为0.5    for i in range(numTrainDocs):        if trainCategory[i] == 1:        #文档归属为侮辱性文档            p1Num += trainMatrix[i]      #某个单词在侮辱性文档中的次数加1            p1Demon += sum(trainMatrix[i])  #侮辱性文档中总的单词数量加1        else:                            #文档归属为非侮辱性文档            p0Num += trainMatrix[i]      #某个单词在非侮辱性文档中的次数加1            p0Demon += sum(trainMatrix[i])  #侮辱性非文档中总的单词数量加1                                   #加log是防止小数连乘得到一个极小数    p1Vect = log(p1Num/p1Demon)    #p1Num/p1Demon对应单词在侮辱性文档中出现的概率,即p(wi|c1)，i= 0,....n    p0Vect = log(p0Num/p0Demon)    #p0Num/p0Demon对应单词在非侮辱性文档中出现的概率,即p(wi|c0)，i= 0,....n    return p0Vect, p1Vect, pAbusive  #贝叶斯分类器训练结果#分类函数def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):    p1 = sum(vec2Classify * p1Vec) + log(pClass1)  #//log(p(w|ci) * p(ci)) = log(p(w|ci))+ log(p(i))    p0 = sum(vec2Classify * p0Vec) + log(1 - pClass1)    if p1 > p0: return 1    else: return 0#测试函数def testingNB():    listOposts, listClasses = loadDataSet()  #创建训练样本    myVocabList = createVocabList(listOposts)   #创建包含在所有文档中不出现重复词对列表，即创建特征    trainMat = []      #获取文档向量，向量的每一个元素为1或者0，分别表示词表中的单词在输入文档中是否出现    for postinDoc in listOposts:        trainMat.append(setOfWords2Vec(myVocabList, postinDoc))    p0V, p1V, pAb = trainNB0(array(trainMat), array(listClasses))   #训练贝叶斯分类器    testEntry = ['love', 'my', 'dalmation']     #创建测试样本    thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) #获取测试样本特征向量    print  testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb) #输出分类结果    testEntry = ['stupid', 'garbage']           #创建测试样本    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))     #获取测试样本特征向量    print  testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb) #输出分类结果#词袋模型，词袋中每个单词可以出现多次，而在setOfWords2Vec词集模型中，每个单词只出现一次def bagOfWords2VecMN(vocabList, inputSet):    returnVec = [0]*len(vocabList)      #初始化特征向量，每个单词出现次数初始化为0    for word in inputSet:               #计算input的特征向量        if word in vocabList:            returnVec[vocabList.index(word)] += 1    return returnVec#-----------文件解析及完整对垃圾邮件测试函数--------------#切分本文def textParse(bigString):    import re    listOfTokens = re.split(r'\W*', bigString)     #用除字母以及数字以外的任何字符分割    return [tok.lower() for tok in listOfTokens if len(tok) > 2]   #获取字符数量大于2个的单词，并将字母全部小写化def spamTest():    #读取贝叶斯训练样本    docList = []; classList = []; fullText = []    for i in range(1, 26):        wordList = textParse(open('email/spam/%d.txt' % i).read())   #读取文本        docList.append(wordList)                #构建文本列表        fullText.extend(wordList)        classList.append(1)                     #标签列表        wordList = textParse(open('email/ham/%d.txt' % i).read())        docList.append(wordList)        fullText.extend(wordList)        classList.append(0)    vocabList = createVocabList(docList)         #构建词向量    trainingSet = range(50); testSet = []    #随机构建贝叶斯分类器测试样本    for i in range(10):        randIndex = int(random.uniform(0, len(trainingSet)))            testSet.append(trainingSet[randIndex])      #随机选择文档加入测试文档        del(trainingSet[randIndex])                 #将选入测试文档的文档从训练文档中剔除    trainMat = []; trainClasses = []    for docIndex in trainingSet:        trainMat.append(setOfWords2Vec(vocabList, docList[docIndex]))   #创建训练文档对词向量        trainClasses.append(classList[docIndex])                        #标签向量    p0V, p1V, pSpam = trainNB0(array(trainMat), array(trainClasses))    #贝叶斯训练器训练    errorcount = 0    for docIndex in testSet:        wordVector = setOfWords2Vec(vocabList, docList[docIndex])       #测试文档词特征向量构建        if classifyNB(array(wordVector), p0V, p1V, pSpam) != classList[docIndex]:#测试            errorcount += 1         #统计错误率    print 'the error rate is: ', float(errorcount)/len(testSet)**总结** 1. 使用概率有时比使用硬规则更为有效，贝叶斯概率及贝叶斯准则提供了一种利用已知值来估计未知概率的有效方法 2. 可以通过特征之间对条件独立性假设，降低对数据量的需要。尽管条件独立性假设并不正确，但是朴素贝叶斯仍然是一种有效的分类器 3. 利用现代编程语言实现朴素贝叶斯时需要考虑很多实际因素。下溢就是其中一个问题，它可以通过对概率取对数来解决。词袋模型在解决文档分类问题上比词集模型有所提高。还有其他一些方面的改进，比如说移除停用词，当然也可以花大量事件对切分器进行优化。