朴素贝叶斯

朴素贝叶斯

优点：在数据较少的情况下仍然有效，可以处理多类别问题；

缺点：对于输入数据的准备方式较为敏感；

使用数据类型：标称型数据。

朴素贝叶斯核心思想是选择具有最高概率的决策。

# -*- coding:utf-8 -*-#使用Python进行文本分类"""从文本中构建词向量，将句子转换为向量"""from numpy import *def loadDataSet():    """    创建一些样本，返回的第一个变量是进行词条切分后的文档集合；第二个变量是一个类别标签的集合    :return:    """    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]    classVec = [0,1,0,1,0,1] #1表示侮辱性文字，0表示正常言论    return postingList,classVecdef createVocabList(dataSet):    """    创建一个包含所有文档中出现的不重复词的列表    :param dataSet:    :return:    """    vocabSet = set([])  #创建一个空集    for document in dataSet:        vocabSet = vocabSet|set(document)  #创建两个集合的并集    return list(vocabSet)def setOfWords2Vec(vocabList,inputSet):    """    :param vocabList:    :param inputSet: 某个文档    :return:    """    returnVec = [0]*len(vocabList)   #创建一个其中所有元素都为0的向量    for word in inputSet:        if word in vocabList:            returnVec[vocabList.index(word)]=1        else:            print  "the word :%s is not in my vocabulary" % word    return returnVeclistOPosts,listClasses = loadDataSet()my = createVocabList(listOPosts)# print myprint setOfWords2Vec(my,listOPosts[3])

#训练方法，从词向量计算概率"""p(ci|w)=p(w|ci)*p(ci)/p(w)对每个类进行计算概率，比较这两个概率值的大小"""def trainNB0(trainMatrix,trainCategory):    numTrainDocs = len(trainMatrix)    numWords = len(trainMatrix[0])    pAbusive = sum(trainCategory)/float(numTrainDocs)    p0Num = zeros(numWords);p1Num = zeros(numWords)    p0Denom = 0.0;p1Denom = 0.0    for i in range(numTrainDocs):        p1Num+=trainMatrix[i]#向量相加        p1Denom+=sum(trainMatrix[i])    else:        p0Num += trainMatrix[i]        p0Denom +=sum(trainMatrix[i])    p1Vect = p1Num/p1Denom    p0Vect = p0Num/p0Denom    return p0Vect,p1Vect,pAbusivetrainMat=[]for post in listOPosts:    trainMat.append(setOfWords2Vec(my,post))p0,p1,pa = trainNB0(trainMat,listClasses)print pa

先写这么多，慢慢补