机器学习笔记（四）——朴素贝叶斯

优点：在数据较少的情况下仍然有效，可以处理多类别问题

缺点：对于输入数据的准备方式较为敏感

适用数据类型：标称型数据

 

贝叶斯准则：

使用朴素贝叶斯进行文档分类

 

朴素贝叶斯的一般过程

（1）收集数据：可以使用任何方法。本文使用RSS源

（2）准备数据：需要数值型或者布尔型数据

（3）分析数据：有大量特征时，绘制特征作用不大，此时使用直方图效果更好

（4）训练算法：计算不同的独立特征的条件概率

（5）测试算法：计算错误率

（6）使用算法：一个常见的朴素贝叶斯应用是文档分类。可以在任意的分类场景中使用朴素贝叶斯分类器，不一定非要是文本。

 

准备数据：从文本中构建词向量

 

在bayes.py文件中添加如下代码：

# coding=utf-8def loadDataSet():postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],['stop', 'posting', 'stupid', 'worthless', 'garbage'],['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]classVec = [0, 1, 0, 1, 0, 1]  # 1代表侮辱性文字，0代表正常言论return postingList, classVecdef createVocabList(dataSet):vocabSet = set([])for document in dataSet:vocabSet = vocabSet | set(document)return list(vocabSet)def setOfWords2Vec(vocabList, inputSet):returnVec = [0] * len(vocabList)for word in inputSet:if word in vocabList:returnVec[vocabList.index(word)] = 1else:print "the word: %s is not in my Vocabulary!" % wordreturn returnVec

运行结果：

    

训练算法：从词向量计算概率

# 朴素贝叶斯分类器训练函数# trainMatrix: 文档矩阵，  trainCategory: 由每篇文档类别标签所构成的向量def trainNB0(trainMatrix, trainCategory):numTrainDocs = len(trainMatrix)numWords = len(trainMatrix[0])pAbusive = sum(trainCategory) / float(numTrainDocs)p0Num = zeros(numWords);p1Num = zeros(numWords);p0Denom = 0.0;p1Denom = 0.0;for i in range(numTrainDocs):if trainCategory[i] == 1:p1Num += trainMatrix[i]p1Denom += sum(trainMatrix[i])else:p0Num += trainMatrix[i]p0Denom += sum(trainMatrix[i])p1Vect = p1Num / p1Denomp0Vect = p0Num / p1Denomreturn p0Vect, p1Vect, pAbusive

运行结果：

    

测试算法：根据现实情况修改分类器

 

上一节中的trainNB0函数中修改几处：

    p0Num = ones(numWords);

    p1Num = ones(numWords);

    p0Denom = 2.0;

    p1Denom = 2.0;

    p1Vect = log(p1Num / p1Denom)

    p0Vect = log(p0Num / p1Denom)

# 朴素贝叶斯分类器训练函数# trainMatrix: 文档矩阵，  trainCategory: 由每篇文档类别标签所构成的向量def trainNB0(trainMatrix, trainCategory):numTrainDocs = len(trainMatrix)numWords = len(trainMatrix[0])pAbusive = sum(trainCategory) / float(numTrainDocs)p0Num = ones(numWords);p1Num = ones(numWords);p0Denom = 2.0;p1Denom = 2.0;for i in range(numTrainDocs):if trainCategory[i] == 1:p1Num += trainMatrix[i]p1Denom += sum(trainMatrix[i])else:p0Num += trainMatrix[i]p0Denom += sum(trainMatrix[i])p1Vect = log(p1Num / p1Denom)p0Vect = log(p0Num / p1Denom)return p0Vect, p1Vect, pAbusive# 朴素贝叶斯分类函数def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):p1 = sum(vec2Classify * p1Vec) + log(pClass1)p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)if p1 > p0:return 1else:return 0def testingNB():listOPosts, listClasses = loadDataSet()myVocabList = createVocabList(listOPosts)trainMat = []for postinDoc in listOPosts:trainMat.append(setOfWords2Vec(myVocabList, postinDoc))p0V, p1V, pAb = trainNB0(array(trainMat), array(listClasses))testEntry = ['love', 'my', 'dalmation']thisDoc = array(setOfWords2Vec(myVocabList, testEntry))print testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb)testEntry = ['stupid', 'garbage']thisDoc = array(setOfWords2Vec(myVocabList, testEntry))print testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb)

运行结果：

    

准备数据：文档词袋模型

 

词集模型（set-of-words model）：每个词是否出现，每个词只能出现一次

词袋模型（bag-of-words model）：一个词可以出现不止一次

# 朴素贝叶斯词袋模型def bagOfWords2VecMN(vocabList, inputSet):returnVec = [0] * len(vocabList)for word in inputSet:if word in vocabList:returnVec[vocabList.index(word)] += 1return returnVec

示例：使用朴素贝叶斯过滤垃圾邮件

 

（1）收集数据：提供文本文件

（2）准备数据：将文本文件解析成词条向量

（3）分析数据：检查词条确保解析的正确性

（4）训练算法：使用我们之前建立的trainNB0()函数

（5）测试算法：使用classifyNB()，并且构建一个新的测试函数来计算文档集的错误率

（6）使用算法：构建一个完整的程序对一组文档进行分类，将错分的文档输出到屏幕上

 

准备数据：切分文本

 

使用正则表达式切分句子

    

测试算法：使用朴素贝叶斯进行交叉验证

# 该函数接受一个大写字符的字串，将其解析为字符串列表# 该函数去掉少于两个字符的字符串，并将所有字符串转换为小写def textParse(bigString):import relistOfTokens = re.split(r'\W*', bigString)return [tok.lower() for tok in listOfTokens if len(tok) > 2]# 完整的垃圾邮件测试函数def spamTest():docList = []classList = []fullText = []# 导入并解析文本文件for i in range(1, 26):wordList = textParse(open('email/spam/%d.txt' % i).read())docList.append(wordList)fullText.extend(wordList)classList.append(1)wordList = textParse(open('email/ham/%d.txt' % i).read())docList.append(wordList)fullText.extend(wordList)classList.append(0)vocabList = createVocabList(docList)trainingSet = range(50)testSet = []# 随机构建训练集for i in range(10):randIndex = int(random.uniform(0, len(trainingSet)))testSet.append(trainingSet[randIndex])del(trainingSet[randIndex])trainMat = []trainClasses = []for docIndex in trainingSet:trainMat.append(setOfWords2Vec(vocabList, docList[docIndex]))trainClasses.append(classList[docIndex])p0V, p1V, pSpam = trainNB0(array(trainMat), array(trainClasses))errorCount = 0# 对测试集分类for docIndex in testSet:wordVector = setOfWords2Vec(vocabList, docList[docIndex])if classifyNB(array(wordVector), p0V, p1V, pSpam) != classList[docIndex]:errorCount += 1print "classification error",docList[docIndex]print 'the error rate is: ', float(errorCount) / len(testSet)

运行结果：

    

因为这些电子邮件是随机选择的，所以每次输出的结果可能会不一样

申明：本文为本人学习中所记之笔记，欢迎各位读者前来交流学习心得，如有批评建议请在下方评论处留言，转载请注明出处：http://blog.csdn.net/jay_xio/article/details/44674339

作者：Jay_Xio