6.1、贝叶斯分类器

1、贝叶斯分类器：

1）、实例一：

考虑一个医疗诊断问题，有两种可能的假设：（1）病人有癌症。（2）病人无癌症。样本数据来自某化验测试，它也有两种可能的结果：阳性和阴性。假设我们已经有先验知识：在所有人口中只有0.008的人患病。此外，化验测试对有病的患者有98%的可能返回阳性结果，对无病患者有97%的可能返回阴性结果。

 

上面的数据可以用以下概率式子表示：

P(cancer)=0.008,P(无cancer)=0.992

P(阳性|cancer)=0.98,P(阴性|cancer)=0.02

P(阳性|无cancer)=0.03，P(阴性|无cancer)=0.97

假设现在有一个新病人，化验测试返回阳性，是否将病人断定为有癌症呢？

 

在这里，Y={cancer，无cancer}，共两个类别，这个新病人是一个样本，他有一个属性阳性，可以令x=(阳性)。我们可以来计算各个类别的后验概率：

P(cancer | 阳性) = P(阳性 |cancer)p(cancer)=0.98* 0.008 = 0.0078

P(无cancer | 阳性) =P(阳性 | 无cancer)* p(无cancer)=0.03* 0.992 = 0.0298

因此，应该判断为无癌症。

 

①别墅和狗

一座别墅在过去的 20 年里一共发生过 2 次被盗，别墅的主人有一条狗，狗平均每周晚上叫 3 次，在盗贼入侵时狗叫的概率被估计为 0.9，问题是：在狗叫的时候发生入侵的概率是多少？

 

我们假设 A 事件为狗在晚上叫，B 为盗贼入侵，则 P(A) = 3 / 7，P(B)=2/(20·365)=2/7300，P(A | B) = 0.9，按照公式很容易得出结果：P(B|A)=0.9*(2/7300)/(3/7)=0.00058

 

②容器里的球

另一个例子，现分别有 A，B 两个容器，在容器 A 里分别有 7 个红球和 3 个白球，在容器 B 里有 1 个红球和 9 个白球，现已知从这两个容器里任意抽出了一个球，且是红球，问这个红球是来自容器 A 的概率是多少?

 

假设已经抽出红球为事件 B，从容器 A 里抽出球为事件 A，则有：P(B) = 8 /20，P(A) = 1 / 2，P(B | A) = 7 / 10，按照公式，则有：P(A|B)=(7 / 10)*(1 / 2)/(8/20)=0.875

 

2）、实例二

假设给定了如下训练样本数据，我们学习的目标是根据给定的天气状况判断你对PlayTennis这个请求的回答是Yes还是No。

Day

Outlook

Temperature

Humidity

Wind

PlayTennis

D1

Sunny

Hot

High

Weak

No

D2

Sunny

Hot

High

Strong

No

D3

Overcast

Hot

High

Weak

Yes

D4

Rain

Mild

High

Weak

Yes

D5

Rain

Cool

Normal

Weak

Yes

D6

Rain

Cool

Normal

Strong

No

D7

Overcast

Cool

Normal

Strong

Yes

D8

Sunny

Mild

High

Weak

No

D9

Sunny

Cool

Normal

Weak

Yes

D10

Rain

Mild

Normal

Weak

Yes

D11

Sunny

Mild

Normal

Strong

Yes

D12

Overcast

Mild

High

Strong

Yes

D13

Overcast

Hot

Normal

Weak

Yes

D14

Rain

Mild

High

Strong

No

 

可以看到这里样本数据集提供了14个训练样本，我们将使用此表的数据，并结合朴素贝叶斯分类器来分类下面的新实例：x = (Outlook = Sunny,Temprature =Cool,Humidity = High,Wind = Strong)

在这个例子中，属性向量X=(Outlook,Temperature, Humidity, Wind)，类集合Y={Yes, No}。我们需要利用训练数据计算后验概率P(Yes|x)和P(No|x)，如果P(Yes|x)>P(No|x)，那么新实例分类为Yes，否则为No。

为了计算后验概率，我们需要计算先验概率P(Yes)和P(No)和类条件概率P(xi|Y)。

因为有9个样本属于Yes，5个样本属于No，所以P(Yes)=9/14, P(No)=5/14。类条件概率计算如下：

P(Outlook=Sunny|Yes)=2/9          P(Outlook=Sunny|No)=3/5

P(Temprature=Cool|Yes)=3/9      P(Temprature=Cool|No)=1/5

P(Humidity=High|Yes)=3/9           P(Humidity=High|No)=4/5 

P(Wind=Strong|Yes)=3/9              P(Wind=Strong|No)=3/5

后验概率计算如下：

P(Yes|x)=P(Outlook=Sunny|Yes)×P(Temprature=Cool|Yes)×P(Humidity=High|Yes)×P(Wind=Strong|Yes)×P(Yes)=2/9×3/9×3/9×3/9×3/9×9/14=2/243=9/1701≈0.00529

P(No|x)=P(Outlook=Sunny|No)×P(Temprature=Cool|No)×P(Humidity=High|No)×P(Wind=Strong|No)×P(No)=3/5×1/5×4/5×3/5×5/14=18/875≈0.02057

通过计算得出P(No|x)>P(Yes|x)，所以该样本分类为No[^3]。

 

假设有来了一个新样本x1=(Outlook=Cloudy,Temprature=Cool,Humidity=High,Wind=Strong)，要求对其分类。我们来开始计算，

P(Outlook=Cloudy|Yes)=0/9=0         P(Outlook=Cloudy|No)=0/5=0

计算到这里，大家就会意识到，这里出现了一个新的属性值，在训练样本中所没有的。如果有一个属性的类条件概率为0，则整个类的后验概率就等于0，我们可以直接得到后验概率P(Yes|x1)=P(No|x1)=0，这时二者相等，无法分类。

 

当训练样本不能覆盖那么多的属性值时，都会出现上述的窘境。简单的使用样本比例来估计类条件概率的方法太脆弱了，尤其是当训练样本少而属性数目又很大时。

 

3）、实例三：

 

3、朴素贝叶斯模型（Naive Bayesian Model，NBC）——文本分类器

2 朴素贝叶斯文本分类算法 ：将贝叶斯分类器应用到文本分类上来。

2.1文本分类问题

在文本分类中，假设我们有一个文档d∈X，X是文档向量空间(document space)，和一个固定的类集合C={c1,c2,…,cj}，类别又称为标签。显然，文档向量空间是一个高维度空间。我们把一堆打了标签的文档集合<d,c>作为训练样本，<d,c>∈X×C。例如：  <d,c>={Beijing joins the WorldTrade Organization, China}

对于这个只有一句话的文档，我们把它归类到 China，即打上china标签。

我们期望用某种训练算法，训练出一个函数γ，能够将文档映射到某一个类别： γ:X→C这种类型的学习方法叫做有监督学习，因为事先有一个监督者（我们事先给出了一堆打好标签的文档）像个老师一样监督着整个学习过程。

朴素贝叶斯分类器是一种有监督学习，常见有两种模型，多项式模型(multinomial model)和伯努利模型(Bernoullimodel)。

2.2 多项式模型

2.2.1 基本原理

在多项式模型中， 设某文档d=(t1,t2,…,tk)，tk是该文档中出现过的单词，允许重复，则先验概率P(c)= 类c下单词总数/整个训练样本的单词总数

类条件概率P(tk|c)=(类c下单词tk在各个文档中出现过的次数之和+1)/(类c下单词总数+|V|)

V是训练样本的单词表（即抽取单词，单词出现多次，只算一个），|V|则表示训练样本包含多少种单词。在这里，m=|V|, p=1/|V|。

 在计算条件概率时，当待分类文本中的某个词没有出现在词库中时，概率为0，会导致很严重的问题，需要考虑拉普拉斯平滑（laplacesmoothing）：它是将所有词出现的次数+1，再进行统计。

 

P(tk|c)=可以看作是单词tk在证明d属于类c上提供了多大的证据，而P(c)则可以认为是类别c在整体上占多大比例(有多大可能性)。

2.2.3 举例

给定一组分类好了的文本训练数据，如下：

docId

doc

类别In c=China?

1

Chinese Beijing Chinese

yes

2

Chinese Chinese Shanghai

yes

3

Chinese Macao

yes

4

Tokyo Japan Chinese

no

给定一个新样本 >Chinese Chinese Chinese Tokyo Japan 对其进行分类。该文本用属性向量表示为d=(Chinese, Chinese, Chinese, Tokyo, Japan)，类别集合为Y={yes, no}。

类yes下总共有8个单词，类no下总共有3个单词，训练样本单词总数为11，因此P(yes)=811,P(no)=311。类条件概率计算如下：

P(Chinese|yes)=(5+1)/(8+6)=6/14=3/7

P(Japan|yes)=P(Tokyo|yes)=(0+1)/(8+6)=1/14

P(Chinese|no)=(1+1)/(3+6)=2/9

P(Japan|no)=P(Tokyo|no)=(1+1)/(3+6)=2/9

分母中的8，是指yes类别下textc的长度，也即训练样本的单词总数，6是指训练样本有Chinese,Beijing,Shanghai, Macao, Tokyo,Japan 共6个单词，3是指no类下共有3个单词。

有了以上类条件概率，开始计算后验概率，

P(yes|d)=(3/7)3×1/14×114×8/11=108/184877≈0.00058417

P(no|d)=(2/9)3×2/9×2/9×3/11=32/216513≈0.00014780

因此，这个文档属于类别china。

2.3 伯努利模型

2.3.1 基本原理

P(c)= 类c下文件总数/整个训练样本的文件总数     P(tk|c)=(类c下包含单词tk的文件数+1)/(类c下单词总数+2)   在这里，m=2,p=12。

2.3.3 举例       还是使用前面例子中的数据，不过模型换成了使用伯努利模型。

类yes下总共有3个文件，类no下有1个文件，训练样本文件总数为11，因此P(yes)=34,P(Chinese|yes)=3+13+2=45

P(Japan|yes)=P(Tokyo|yes)=(0+1)/(3+2)=1/5

P(Beijing|yes)=P(Macao|yes)=P(Shanghai|yes)=(1+1)/(3+2)=2/5

P(Chinese|no)=(1+1)/(1+2)=2/3

P(Japan|no)=P(Tokyo|no)=(1+1)/(1+2)=2/3

P(Beijing|no)=P(Macao|no)=P(Shanghai|no)=(0+1)/(1+2)=1/3

有了以上类条件概率，开始计算后验概率，

P(yes|d)=P(yes)×P(Chinese|yes)×P(Japan|yes)×P(Tokyo|yes)×(1−P(Beijing|yes))×(1−P(Shanghai|yes))×(1−P(Macao|yes))=3/4×4/5×1/5×1/5×(1−2/5×(1−2/5)×(1−2/5)=81/15625≈0.005

P(no|d)=1/4×2/3×2/5×2/5×(1−1/3)×(1−1/3)×(1−1/3)=16/729≈0.022

因此，这个文档不属于类别china。

2.4 两个模型的区别

二者的计算粒度不一样，多项式模型以单词为粒度，伯努利模型以文件为粒度，因此二者的先验概率和类条件概率的计算方法都不同。

计算后验概率时，对于一个文档d，多项式模型中，只有在d中出现过的单词，才会参与后验概率计算，伯努利模型中，没有在d中出现，但是在全局单词表中出现的单词，也会参与计算，不过是作为“反方”参与的。