Python与机器学习（五）朴素贝叶斯分类

1.安装中文分词器

由于本文是对中文文本进行分类，故需要用到中文分词器，而结巴分词则是Python支持较好的一款分词器。

使用命令安装：

pip3 install jieba3k

或者下载结巴分词文件【下载】

结巴分词测试：

结巴分词支持三种分词模式：

• 精确模式，也是结巴分词的默认模式，可以将句子以最精确的方式分开；
• 全模式，可以将句子中所有能够组成词语的词分割开来，速度较快，但有些词语并不正确；
• 搜索引擎模式，该模式可以说是对精确模式的加深，即对精确模式产生的长词进一步分割。

结巴分词是基于Trie树结构实现高效的词图扫描，采用动态规划找最大概率路径，找出基于词频的最大切分组合，对于词典中不存在的词，则采用基于汉字成词能力的HMM模型，使用Viterbi算法。

import jiebaseg = jieba.cut("这里的樱花真美丽，还是去武大看樱花，听说那里的计算机科学学院还不错",cut_all=True)print('全模式：',"/".join(seg))seg = jieba.cut("这里的樱花真美丽，还是去武大看樱花，听说那里的计算机科学学院还不错",cut_all=False)print('精确模式：',"/".join(seg))seg = jieba.cut_for_search("这里的樱花真美丽，还是去武大看樱花，听说那里的计算机科学学院还不错")print('搜索引擎模式：',"/".join(seg))

结巴分词的分词方法有两种形式，一种是cut()，一种是cut_for_search()

cut()方法包含两个参数，第一个是待切分的字符串，第二个是切分的模式，True表示全模式，False表示精确模式

cut_for_search()方式只有一个参数，即待切分的字符串

从上图的输出可以看出，全模式的分词结果很多，有的词还不能成词，如"科学学"等；精确模式就相对要少很多，而且切分的也比较准确；搜索引擎模式对精确模式的结果进一步切分，如“计算机科学”就被切分出了“计算”、“科学”等。

当然，结巴分词除了分词功能外，还有词性标注、关键词提取等功能，具体内容可以参考Python结巴分词

2.朴素贝叶斯概念

概率论是许多机器学习算法的基础，前面说到的决策树也是用概率来判断数据属于某一类别。朴素贝叶斯是贝叶斯决策理论的一部分，其分类的整个形式化过程只做最简单最原始的假设。

贝叶斯决策理论的思想是给定两个类别数据的统计参数，然后计算另给的数据点分别属于这两个类别的概率，选择最大的概率作为该数据点的分类。

下面先来熟悉一下几个公式：

先验概率P(c)，是从已有训练集中计算分类为c类样本占总样本的概率；

条件概率P(x|c)，表示已知x在c中，从c中得到x的概率；

贝叶斯准则     

           

如果已知P(x|c)，那么就可以计算出P(c|x)，该概率表示样本x属于类别c的概率

那么，当一个样本中有多个特征（x1,x2,x3......xn）时，则有：

           

【这里的每个特征都是独立的】

然后根据i个类别的概率大小，选择概率最大的那个类别

2.朴素贝叶斯优缺点

优点：在数据较少的请胯下仍然有效，可以处理多类别问题；

缺点：对于输入数据的准备方式较为敏感。

使用数据类型：标称型数据

3.使用朴素贝叶斯进行文档分类

实验文本：

negative

positive

#bayes.py#coding=utf-8def createVocabList(dataSet):    vocabSet = set([])  #创建一个空集    for document in dataSet:        vocabSet = vocabSet | set(document) #创建两个空集的并集    return list(vocabSet)def setOfWord2Vec(vocabList,inputSet):#词集模型    returnVec = [0]*len(vocabList)  #创建一个元素都是0的向量    for word in inputSet:        if word in vocabList:            returnVec[vocabList.index(word)] = 1        else:            print('the word: %s is not in my Vocabulary!'%word)    return returnVecdef bagOfWords2VecMN(vocabList,inputSet): #词袋模型    returnVec = [0]*len(vocabList)    for word in inputSet:        if word in vocabList:            returnVec[vocabList.index(word)] +=1    return returnVecdef trainNB0(trainMatrix,trainCategory):    numTrainDocs = len(trainMatrix)    numWords = len(trainMatrix[0])    pAbusive = sum(trainCategory)/float(numTrainDocs)    p0Num = ones(numWords)  #初始化概率    p1Num = ones(numWords)    p0Denom = 2.0     p1Denom = 2.0    for i in range(numTrainDocs):        if trainCategory[i] == 1:            p1Num += trainMatrix[i]   #向量相加            p1Denom += sum(trainMatrix[i])        else:            p0Num += trainMatrix[i]            p0Denom += sum(trainMatrix[i])    p1Vect = log(p1Num/p1Denom)  #对每个元素做除法    p0Vect = log(p0Num/p0Denom)    return p0Vect,p1Vect,pAbusivedef classifyNB(vec2Classify,p0Vec,p1Vec,pClass1):    p1 = sum(vec2Classify*p1Vec)+log(pClass1)  #元素对应相乘    p0 = sum(vec2Classify*p0Vec)+log(1.0-pClass1)    if p1>p0:        return 1    else:        return 0def testingNB():    listOPosts,listClasses = loadDataSet()    myVocabList = createVocabList(listOPosts)    trainMat = []    for postinDoc in listOPosts:        trainMat.append(setOfWord2Vec(myVocabList, postinDoc))    p0V,p1V,pAb = trainNB0(array(trainMat), array(listClasses))    testEntry = ['love','my','dalmation']    thisDoc = array(setOfWord2Vec(myVocabList, testEntry))    print(testEntry,' classified as: ',classifyNB(thisDoc, p0V, p1V, pAb))    testEntry = ['stupid','garbage']    thisDoc = array(setOfWord2Vec(myVocabList, testEntry))    print(testEntry,' classified as: ',classifyNB(thisDoc, p0V, p1V, pAb))def textParse(bigString):    import re    import jieba    listOfTokens = jieba.cut(bigString)    return [tok for tok in listOfTokens if len(tok)>1]def spamTest():    import linecache    docList = []    classList = []    fullText = []    #linecache.clearcache() 清楚缓存，当文件有变更时    #file = open('data/negative.txt')    for i in range(1,26): #导入并解析文本文件        linecache.clearcache()        string = linecache.getline('data/negative.txt', i)        wordList = textParse(string)        docList.append(wordList)        fullText.extend(wordList)        classList.append(1)                linecache.clearcache()        string = linecache.getline('data/positive.txt', i)        wordList = textParse(string)        docList.append(wordList)        fullText.extend(wordList)        classList.append(0)        print(docList)        vocabList = createVocabList(docList)    trainingSet = list(range(50))    testSet = []    print(trainingSet)    for i in range(10): #随机构建训练集        randIndex = int(random.uniform(0,len(trainingSet)))        print(randIndex)        testSet.append(trainingSet[randIndex])        del(trainingSet[randIndex])            trainMat = []    trainClasses = []    for docIndex in trainingSet:        trainMat.append(setOfWord2Vec(vocabList, docList[docIndex]))        trainClasses.append(classList[docIndex])    p0V,p1V,pSpam = trainNB0(array(trainMat),array(trainClasses) )    print(pSpam)        errorCount = 0    for docIndex in testSet:#对测试集分类        wordVector = setOfWord2Vec(vocabList, docList[docIndex])        if classifyNB(array(wordVector), p0V, p1V, pSpam) != classList[docIndex]:            errorCount += 1    print('the error rate is : ',float(errorCount)/len(testSet))    return float(errorCount)/len(testSet)

#test.pyimport bayesrate = 0.0for i in range(10):    rate += bayes.spamTest()print('rate = ',rate/10)

在此进行了10次交叉验证，由于每次的训练样本和测试样本是随机选取的，因此计算10次的平均值也有所不同，这里得到的结果是rate =  0.14。