隐马尔科夫模型

词汇列表:

• 马尔科夫模型, Markov Model, MM.
• 隐马尔科夫模型, Hidden Markov Model, HMM.
• 语音识别, Speech Recoginition, SR.
• 混合高斯模型, Gauassian Mixture Model, GMM.
• 深度神经网络, Deep Neural Network, DNN.
  

  ---

HMM的应用应该很广泛. 为什么说应该呢, 目前见识不够, 只了解它在语音识别算法中地位很高. 自从李开复将HMM应用于语音识别之后, 到LSTM夺位之前, 语音识别算法都是以它为核心的. 09年之前是混合高斯模型GMM与HMM配合完成SR: GMM负责计算概率分布, HMM负责最后的判断. 09年之后, 深度学习开始占领语音识别领域, 但一开始也只是用深度网络DNN代替GMM计算概率分布, 最后的判断工作仍然由HMM完成. 直到LSTM被应用于语音识别之后, HMM才从SR霸主地位退下来.

HMM的理解需要分为两部分, 一部分是MM, 一部分是Hidden.

基本信息

一阶MM有一个最基本的假设: xxx的下一个状态只与它的当前状态有关, 与之前的状态无关. 再通俗一点就是下一秒你要干什么只与当前你在干什么有关, 而与你已经干过什么无关.

有了一阶也就可以有二阶, 然后三阶, 它们的含义也很容易理解.

可是想想就觉得头有点大: 阶数高固然意味着表达能力的增强, 但同时也意味复杂度的急剧上升. 粗略感受一下, 应该是指数上升. 所以用得最多的还是一阶MM. 在SR中用的就是一阶MM.

而从一阶MM的基本假设可以看出, 它是没有任何历史观念的. 这也是它在SR中被换下来的原因. 不能说这个理论错了, 只能说它与SR之间并不是很契合: SR明显是需要联系上下文的.

那么为什么会有Hidden存在呢?

仍然以语音识别为例子, 人工的. 回想一下你参加英语听力考试的场景: 你能听到的是发出来的声音, 对你来说这声音是"visible"的. 声音对应的文字就是"invisible"即"hidden"的. Hidden即从此处来.

HMM, 是隐(一阶)马尔科夫模型.

模型结构

由四个部分组成:

• v, 可见的外在表象
• w, 外存表象下隐藏的真实状态
• a, 状态转换概率
• b, w显示出v的概率