隐马尔科夫模型——基本概念

前言

本文介绍了什么是隐马尔科夫模型及其基本概念。学习资料来自李航《统计学习方法》和网络博客。通过举例加深对模型的理解，阅读本文可以完全掌握隐马的基本原理和符号表示。

什么是隐马尔科夫

隐马尔科夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定。隐马尔科夫模型λ可以用三元符号表示：

λ=(A,B,π)

其中A,B,λ被称为隐马尔科夫模型的三要素。
此外，我们还有一些常见名词：
所有可能状态集合Q：

Q={q1,q2,...,qN}

所有可能观测集合V：

V={v1,v2,...,vN}

长度为T的状态序列I：

I=(i1,i2,...,iT)

与之对应的观测序列O：

O=(o1,o2,...,oT)

状态转移概率矩阵：

A=[aij]N∗N

其中

aij=P(it+1=qj|it=qi)

是在t时刻处于状态qj的条件下在时刻t+1转移到状态qj的概率。
观测概率矩阵B：

B=[bj(k)]N∗M

其中

bj(k)=P(ot=vk|it=qk)

是在t时刻处于状态qj的条件下生成观测vk的概率。

模型举例

假设有4个盒子，编号为A、B、C、D。每个盒子里面都装有红白两种颜色的球。

盒子 A B C D 红球数 5 3 6 8 白球数 5 7 4 2

按照一定的方法抽球：从4个盒子里面以等概论随机选取一个盒子，从这个盒子里面随机抽取1个求，记录颜色后放回。然后再重新选取盒子，进行下一轮的抽取。每轮抽取的规则如下：
如果当前选取A盒子，那么下次必须选取B盒子；
如果当前选取B盒子，那么下次有0.4概率选取A盒子，0.6 概率选取C盒子；
如果当前选取C盒子，那么下次有0.4概率选取B盒子，0.6概率选取D盒子；
如果当前是D盒子，那么下次有0.5概率选取D盒子，0.5概率选取C盒子。

某次实验中，我们按照某种次序，依次从五个盒子里共抽取了，得到球的颜色顺序如下：{红，红，白，白，红}
（设计如此“复杂”的规则是为了后面清晰地表明矩阵的含义）

模型与例子的变量对应说明

“盒子”对应状态。本实验中，状态集合为:

Q={盒子A,盒子B,盒子C,盒子D}

“按照某种次序，依次从五个盒子里共抽取”明显地，我们不知道是按照哪种盒子次序抽取的，抽取盒子的序列是不可观测的，是状态序列：

I=(盒子X，盒子X，盒子X，盒子X，盒子X)

“球的颜色”对应观测。本实验中，观测集合是：

V={红，白}

“抽取了五次，得到球的颜色顺序如下：{红，红，白，白，红}”对应状态观测序列：

O=(红，红，白，白，红)

”开始，从四个盒子等概率选取一个盒子”对应初始概率分布：

π=(0.25,0.25,0.25,0.25)T

“如果当前选取XX盒子，那么下一个选取XX盒子”对应状态转移概率：

A=⎡⎣⎢⎢⎢00.400100.4000.600.5000.60.5⎤⎦⎥⎥⎥

Aij代表，从i盒子转移到j盒子，概率有多大
“每个盒子里各自的红白球数”对应观测概率分布：

B=⎡⎣⎢⎢⎢0.50.30.60.80.50.70.40.2⎤⎦⎥⎥⎥

Bij代表，第i盒子第j种球抽到的概率有多大

两个基本假设

• 齐次马尔科夫性假设：假设隐藏的马尔科夫链在任意t时刻的状态只依赖于前一时刻的状态，与其他时刻的状态及观测无关。本实验中，抽取下个盒子X的概率只跟抽取前一个盒子X有关，与其他时刻抽取盒子和抽取的球颜色没有关系。
• 观测独立性假设：假设任意时刻的观测只依赖于该时刻的马尔科夫链的状态，与其他观测及状态无关。在本实验中，抽取红球和白球的概率只与当前抽取的盒子有关，与其他抽取球的颜色和抽取的盒子无关。

后续

隐马尔科夫模型是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的状态序列，再由各个状态随机生成一个观测而产生观测序列的过程

如果你认真阅读了例子和对应关系，我相信能够比较清楚地理解什么是隐马尔科夫模型了。本人水平有限，如有任何表达不清或错误地方，欢迎各位朋友交流指正。