标记偏置 隐马尔科夫 最大熵马尔科夫 HMM MEMM
来源:互联网 发布:霍尼韦尔6160键盘编程 编辑:程序博客网 时间:2024/05/20 07:13
转载自:http://blog.csdn.net/xum2008/article/details/38147425
隐马尔科夫模型(HMM):
图1. 隐马尔科夫模型
隐马尔科夫模型的缺点:
1、HMM只依赖于每一个状态和它对应的观察对象:
序列标注问题不仅和单个词相关,而且和观察序列的长度,单词的上下文,等等相关。
2、目标函数和预测目标函数不匹配:
HMM学到的是状态和观察序列的联合分布P(Y,X),而预测问题中,我们需要的是条件概率P(Y|X)。
最大熵隐马尔科夫模型(MEMM):
图2. 最大熵马尔科夫模型
MEMM考虑到相邻状态之间依赖关系,且考虑整个观察序列,因此MEMM的表达能力更强;MEMM不考虑P(X)减轻了建模的负担,同时学到的是目标函数是和预测函数一致。
MEMM的标记偏置问题:
图3. Viterbi算法解码MEMM,状态1倾向于转换到状态2,同时状态2倾向于保留在状态2;
P(1-> 1-> 1-> 1)= 0.4 x 0.45 x 0.5 = 0.09 ,P(2->2->2->2)= 0.2 X 0.3 X 0.3 = 0.018,
P(1->2->1->2)= 0.6 X 0.2 X 0.5 = 0.06,P(1->1->2->2)= 0.4 X 0.55 X 0.3 = 0.066。
图3中状态1倾向于转换到状态2,同时状态2倾向于保留在状态2;但是得到的最优的状态转换路径是1->1->1->1,为什么呢?因为状态2可以转换的状态比状态1要多,从而使转移概率降低;即MEMM倾向于选择拥有更少转移的状态。这就是标记偏置问题。而CRF很好地解决了标记偏置问题。
MEMM是局部归一化,CRF是全局归一化
另一方面,MEMMs不可能找到相应的参数满足以下这种分布:
a b c --> a/A b/B c/C p(A B C | a b c) = 1
a b e --> a/A b/D e/E p(A D E | a b e) = 1
p(A|a)p(B|b,A)p(C|c,B) = 1
p(A|a)p(D|b,A)p(E|e,D) = 1
但是CRFs可以找到模型满足这种分布。
- 标记偏置 隐马尔科夫 最大熵马尔科夫 HMM MEMM
- 标记偏置 隐马尔科夫 最大熵马尔科夫 HMM MEMM
- 标记偏置 隐马尔科夫 最大熵马尔科夫 HMM MEMM
- MEMM最大熵马尔科夫模型
- 标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较
- 标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较
- 标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较
- ME, HMM, MEMM, CRF
- ME, HMM, MEMM, CRF
- ME, HMM, MEMM, CRF
- HMM/MEMM/CRF
- HMM->MEMM->CRF
- CRF,HMM,MEMM
- HMM MEMM CRF 区别 联系
- CRF HMM,MEMM的区别
- HMM、MEMM、CRF模型比较
- HMM MEMM CRF 区别 联系
- 最大熵马尔可夫模型MEMM
- drupal 优化
- route add命令详解
- cumsum cumprod prod函数的用法
- sqlite的安装
- iOS 银行卡输4空1的方法
- 标记偏置 隐马尔科夫 最大熵马尔科夫 HMM MEMM
- Mysql常用命令详解
- XML解析技术研究
- 按流程进行数据分析
- 移动视频会议开发
- eclipse注释模板设置
- ios8之后的获取位置更新
- 谈谈前端组件库
- 脚本练习_检查用户属组