读书笔记 --《数学之美》_隐马尔可夫模型

《数学之美⋅第二版》第五章

1、通信模型

上图表示了一个典型的通信系统，它包括雅各布森(Roman Jakobson)提出的通信的六个要素(发送者(信息源)，信道，接收者，信息，上下文和编码)。
其中，s1,s2,s3,...表示信息源发出的信号。o1,o2,o3,...是接受器接收到的信号。通信中的解码就是根究接收到的信号o1,o2,o3,...还原发送的信号s1,s2,s3,...。

同样，很多自然语言处理的应用也可以这样理解。在从汉语到英语的翻译中，说话者讲的是汉语，但是信道传播编码的方式是英语，如果利用计算机，根据接收到的英语信息，推测说话者的汉语意思，就是机器翻译。同样，如果要根据带有用拼写错误的语句推测说话者想表达的正确意思，那就是自动纠错。这样，几乎所有的自然语言处理问题都可以等价成通信的编码问题。

在通信中，如何根据接收端的观测信号o1,o2,o3,...来推测信号源发送的信息s1,s2,s3,...呢？只需要从所有的源信息中找出最可能产生出观测信号的那一个信息。用概率论的语言来描述，就是在已知o1,o2,o3,...的情况下，求得令条件概率P(s1,s2,s3,...|o1,o2,o3,...)达到最大值的那个信息串s1,s2,s3,...，即

s1,s2,s3,...=ArgallMaxs1,s2,s3,...P(s1,s2,s3,...|o1,o2,o3,...)(公式1.1)

利用贝叶斯公式，上述公式等价于

P(o1,o2,o3,...|s1,s2,s3,...)⋅P(s1,s2,s3,...)P(o1,o2,o3,...)

其中，P(s1,s2,s3,...|o1,o2,o3,...)表达信息s1,s2,s3,...在传输后变成接收的信号o1,o2,o3,...的可能性；而P(s1,s2,s3,...)表示s1,s2,s3,...本身是一个在接收端合乎情理的信号(比如一个合乎情理的句子)的可能性；最后，P(o1,o2,o3,...)表示在发送端(比如说话的人)产生信息o1,o2,o3,...的可能性。

首先，一旦信息o1,o2,o3,...产生了，它就不会变了，这时P(o1,o2,o3,...)就是一个可以忽略常数。因此，上面的公式可以等价于

P(o1,o2,o3,...|s1,s2,s3,...)⋅P(s1,s2,s3,...)

当然，这里有两项，虽然多过公式1.1的一项，但是这个公式完全可以用隐马尔可夫模型(Hidden Markov Model)来估计。

2、隐马尔可夫模型
先复习一下概率论 再来写这一章！