Navie Bayes理解

朴素贝叶斯（Navie Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法

独立性

一般的A事件发生对B事件是有影响的也就是P(B|A)!=P(B)，但是只有这种影响不存在时候，P(B|A)=P(B),这时候有

P(AB)=P(B|A)P(A)=P(A)P(B)

全概率公式

事件B1,B1,B2,B3...Bn是样本空间S的一个划分，且P(Bi)>0则

P(A)=P(A|B1)P(B1)+P(A|B2)P(B2)+...+P(A|Bn)P(Bn)

贝叶斯（Bayes）公式

事件B1,B1,B2,B3...Bn是样本空间S的一个划分

P(Bi|A)=P(A|Bi)P(Bi)∑j=1nP(A|Bj)P(Bj)

其中P(Bi)是先验概率（Prior probability），P(Bi|A)叫做后验概率（Posterior probability），P(B|A)/P(B)称为”可能性函数”（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率。

我们先预估一个”先验概率”，然后加入实验结果，看这个实验到底是增强还是削弱了”先验概率”，由此得到更接近事实的”后验概率”。

朴素贝叶斯算法

P(yi|X)=P(X|yi)P(yi)P(X)

当前要分类的特征向量为X，朴素贝叶斯算法的思想就是分别计算在X的情况下，哪个类别yi的概率最高，那么概率最高的类别就是该样本所属类别。

因为所有概率分母P(X)相同，那么直接比较分子即可，即求maxP(X|yi)P(yi)

其中X=(x1,x2,x3,x4,x5,x1...xn)，xi代表每个维度的值

maxP(X|yi)P(yi)=maxP((x1,x2,x3,x4,x5,x1...xn)|yi)(yi)

朴素贝叶斯假设每个特征维度都具有独立性，这一假设使得朴素贝叶斯在计算上变得简便，但有时会牺牲准确率。

maxP((x1,x2,x3,x4,x5,x1...xn)|yi)(yi)=maxP(yi)ΠjP(xj|yi)

计算每个类别下的概率分布与Laplace校准

由上面的公式可知，我们需要计算P(yi)和P(xi|yi)，如果特征划分都是离散值，那么只需要在当前类别下分别计算每个特征项的概率即可。但是，再连续情况下，我们假设特征项符合正太分布，然后我们使用高斯公式来计算概率。

g(x,μ,σ)=12π−−√σexp(−(x−μ)22σ2)

其中，如果计算特征概率时候出现0怎么办，在此我们给每一个特征项都加1，那么训练样本在足够大的时候，就不会影响概率值了。

朴素贝叶斯实战demo

from numpy import *#  自定义一个数据集，包含有侮辱性评论和正常评论def loadDataSet():    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]    classVec = [0,1,0,1,0,1]    #1 is abusive, 0 not    return postingList,classVec# 根据词袋模型，创建词袋集合def createVocabList(dataSet):    vocabSet = set([])  #create empty set    for document in dataSet:        vocabSet = vocabSet | set(document) #union of the two sets  合并两个集合，不断将数据集中的单词加到词袋里，并且保证词袋里面的单词不重合    return list(vocabSet)  # 返回词袋集合# 输入词袋集合和输入集合，来计算特征向量def setOfWords2Vec(vocabList, inputSet):    returnVec = [0]*len(vocabList)  # 创建一个和词袋一样大小的特征向量    for word in inputSet:   #  双层循环分别遍历输入数据和词袋，如果输入数据中的单词出现在词袋中，那么将对应位置置1        if word in vocabList:            returnVec[vocabList.index(word)] = 1        else: print "the word: %s is not in my Vocabulary!" % word    return returnVec  # 返回特征向量# 训练模型，trainMatrix是训练矩阵，trainCategory是类别矩阵def trainNB0(trainMatrix,trainCategory):    numTrainDocs = len(trainMatrix)   # 计算有多少个训练样本    numWords = len(trainMatrix[0])   # 计算特征向量的维度    pAbusive = sum(trainCategory)/float(numTrainDocs)  # 计算所有评论中侮辱性评论的比率    p0Num = ones(numWords); p1Num = ones(numWords)      #change to ones()  P0num,p1num都是用来计算每个特征项的频率，以防出现概率为0，故将每个特征维度都加1    p0Denom = 2.0; p1Denom = 2.0                        #change to 2.0    p0Demo,P1Ddemo用来计算每个类别下的总词数    for i in range(numTrainDocs):        if trainCategory[i] == 1:            p1Num += trainMatrix[i]            p1Denom += sum(trainMatrix[i])        else:            p0Num += trainMatrix[i]            p0Denom += sum(trainMatrix[i])    p1Vect = log(p1Num/p1Denom)          #change to log()  在python中很多个很小的数相乘四舍五入可能造成积为0，所以我们用log(ab)=log(a)+log(b)代替ab    p0Vect = log(p0Num/p0Denom)          #change to log()    return p0Vect,p1Vect,pAbusive  # 返回每个类别下单词出现的概率和侮辱性评论的概率# 根据训练完的模型来计算待分类样本的类别，vec2Classify为待分类样本def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):    p1 = sum(vec2Classify * p1Vec) + log(pClass1)    #element-wise mult  vec2Classify为一个非1即0的矩阵，vec2Classify*p1vec即可得log[p(x1|y)p(x2|y)...]    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)    if p1 > p0:        return 1    else:         return 0def testingNB():    listOPosts,listClasses = loadDataSet()    myVocabList = createVocabList(listOPosts)    trainMat=[]    for postinDoc in listOPosts:        trainMat.append(setOfWords2Vec(myVocabList, postinDoc))    p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))    testEntry = ['love', 'my', 'dalmation']    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))    print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)    testEntry = ['stupid', 'garbage']    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))    print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)

博客参考：算法杂货铺，贝叶斯过滤垃圾邮件，《机器学习实战》