Markov HMM ME MEMM 整体的一些看法

1.Markov假设

有限历史 以及 平稳。

有限历史指的是和有限的历史相关

平稳指的是 两个状态的关系和时间无关。

2.HMM

给定观察序列{O1,O2,O3...}，每个观察Oi对应隐状态序列{S1,S2....Sn}。

HMM解决三个问题：

1.计算观察序列的概率

利用forward算法即可

2.跟定观察序列，计算出对应概率最大的隐状态序列

Viterbi算法，提供O(N*N*T)的复杂度

3.给定观察序列以及状态集合，估计参数 A(状态转移矩阵) B(发射概率)

EM算法， forward-backword 算法

问题2类似序列标注的问题

Pr(O|S) = p(O1|S1)*p(O2|S2).....p(On|Sn)

P(O) = p(O1|start)*p(O2|O1).....p(On|On-1)

P(S|O) = argmaxPr(O|S)P(O) = argmax( ....p(Oi|Si)*p(Si|Si-1)....)

ME:

分类器，将给定的观察值O进行分类。

ME需要从O中提取出相关的Feature以及计算对应w。

注意：主要解决的是观察值O分类问题，如文本分类d那个

P(C=c|O)

MEMM:

序列标注问题，综合ME和HMM，提供更多的Featrue，优于HMM

考虑到t时间附近观察以及状态对其影响。

P(S|O) = argmax (P(S|O) = argmax(....p(Si| O, Si-1)....)，其中O可以是Oi，也可以是Oi-1等观察。

HMM与MEMM的区别：

(MEMM)

(MEMM)

从图上来看：

(HMM)
（MEMM）

（MEMM)