机器学习实战_04-贝叶斯

优点：在数据较少的情况下仍然有效，可以处理多类别问题
缺点：对于输入数据的准备方式较为敏感
适用数据类型：标称型数据

由于分类器有时会产生错误结果，这时可以要求分类器给出一个最优的类别猜测结果，同时给出这个猜测的概率估计值，贝叶斯决策可以达到这个需求。

朴素贝叶斯分类器的前提假设：
1. 特征相互独立
假设特征为10个，每个特征需要N个样本，则需要N的10次方个样本，如果特征相互独立，则需要N*10个样本。
2. 每个特征同等重要

贝叶斯决策理论：求x属于C1或者C2的概率

1. 创建样本集合

 def loadDataSet():    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]    classVec = [0,1,0,1,0,1]    #1 is abusive, 0 not    return postingList,classVec

朴素贝叶斯分类器通常有两种实现方式：
1. 贝努利模型，只考虑出现不出现，不考虑出现的次数
2. 多项式模型实现，考虑出现的次数
本文暂时采用1

2. 创建查询词库

# 创建一个包含在所有文档中出现的不重复词的列表def creatVocabList(dataSet):    vocabSet=set([])    for document in dataSet:        vocabSet = vocabSet| set(document)    return list(vocabSet)

3. 转换成标准长度的向量

#将每一个inputSet转换为一个向量def setOfWords2Vec(vocabList,inputSet):    returnVec = [0] *len(vocabList)    for word in inputSet:        if word in vocabList:            returnVec[vocabList.index(word)] =1        else:print ("不存在")    return returnVec

4. 计算概率的伪代码：

计算每个类别中的文档数目    对每篇训练文档：        对每个类别：            如果词条出现文档中―增加该词条的计数值            增加所有词条的计数值        对每个类别：            对每个词条：                将该词条的数目除以总词条数目得到条件概率        返回每个类别的条件概率

朴素贝叶斯分类器训练函数：

#朴素贝叶斯分类器训练函数def trainNB0(trainMatrix ,trainCategory):    numTrainDocs = len(trainMatrix)    numWords = len(trainMatrix[0])    pAbusive = sum(trainCategory)/float(numTrainDocs)    p0Num = zeros (numWords);  p1Num = zeros (numWords);    p0Denom = 0.0;p1Denom = 0.0;    for i in range(numTrainDocs):        if trainCategory[i] ==1:            p1Num +=trainMatrix[i]            p1Denom +=sum(trainMatrix[i])        else:            p0Num += trainMatrix[i]            p0Denom += sum(trainMatrix[i])    p1Vect = p1Num/p1Denom    p0Vect = p0Num / p0Denom    return p0Vect,p1Vect,pAbusive

5. 分类判断

# 朴素贝叶斯分类函数def classifyNB(vec2Classify,p0Vec,p1Vec,pClass1):    p1 = sum(vec2Classify * p1Vec) + log(pClass1)    p0 = sum(vec2Classify * p0Vec) + log(1-pClass1)    if p1>p0:        return 1    else:        return 0

测试用例

def testingNB():    listOPosts,listClasses = loadDataSet()    myVocabList = creatVocabList(listOPosts)    trainMat = []    for postinDoc in listOPosts:        trainMat.append(setOfWords2Vec(myVocabList,postinDoc))    p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))    testEntry =["love","my","dalmation"]    thisDoc = array(setOfWords2Vec(myVocabList,testEntry))    print testEntry," classified as :" ,classifyNB(thisDoc,p0V,p1V,pAb)    testEntry = ["stupid","garbage"]    thisDoc = array(setOfWords2Vec(myVocabList,testEntry))    print testEntry," classified as :" ,classifyNB(thisDoc,p0V,p1V,pAb)