马尔科夫与隐马尔可夫总结
来源:互联网 发布:人工智能图像理解 编辑:程序博客网 时间:2024/06/11 21:31
马尔可夫链(Markov Chain),描述了一种状态序列,其每个状态值取决于前面有限个状态。如果
对于过去状态的条件概率分布仅是的一个函数,则在给定当前知识或信息的情况下,过去(即当前以前的历史状态)对于预测将来(即当前以后的未来状态)是无关的。
http://www.cnblogs.com/skyme/p/4651331.html
CRF,HMM(隐马模型),MEMM(最大熵隐马模型)都常用来做序列标注的建模,像词性标注,实体识别。
1. 但隐马模型一个最大的缺点就是由于其输出独立性假设,导致其不能考虑上下文的特征,限制了特征的选择,2. 而最大熵隐马模型则解决了这一问题,可以任意的选择特征,但由于其在每一节点都要进行归一化,所以只能找到局部的最优值,同时也带来了标记偏见的问题(label bias),即凡是训练语料中未出现的情况全都忽略掉,3. 而条件随机场则很好的解决了这一问题,他并不在每一个节点进行归一化,而是所有特征进行全局归一化,因此可以求得全局的最优值。
举个例子,对于一个标注任务,“我爱北京天安门“, 标注为” s s b e b c e”
对于HMM的话,其判断这个标注成立的概率为 P= P(s转移到s)P(‘我’表现为s) P(s转移到b)P(‘爱’表现为s) …*P().训练时,要统计状态转移概率矩阵和表现矩 阵。
对于MEMM的话,其判断这个标注成立的概率为 P= P(s转移到s|’我’表现为s)P(‘我’表现为s) P(s转移到b|’爱’表现为s)P(‘爱’表现为s)..训练时,要统计条件状态转移概率矩阵和表现矩阵。
对于CRF的话,其判断这个标注成立的概率为 P= F(s转移到s,’我’表现为s)….F为一个函数,是在全局范围统计归一化的概率而不是像MEMM在局部统计归一化的概率。
阅读全文
0 0
- 马尔科夫与隐马尔可夫总结
- JDBC与字符集总结
- 计划与总结
- 假期总结与展望
- 总结与简化
- JDBC与字符集总结
- 委托与事件总结
- JavaScript 摘要与总结
- 一年总结与展望
- 总结与期待
- 与师兄谈话总结
- 文本文件与二进制文件总结
- 正则用法与总结
- 算法与数据结构总结
- 重写与重载总结
- 算法与数据结构总结
- 类与对象总结
- ScriptManager与UpdatePanel总结
- lower_bound()返回值
- Caused by: java.sql.SQLException: Parameter index out of range (2 > number of parameters, which is 1
- TextView_跑马灯
- 白话经典算法系列之九 从归并排序到数列的逆序数对(微软笔试题)
- Spring依赖注入(dependency injection)
- 马尔科夫与隐马尔可夫总结
- Hoj 2010 GCD & LCM Inverse
- CSS样式初始化分为PC端和移动APP端
- mysql索引类型normal,unique,full text的区别是什么?
- 【ActiveMQ】ActiveMQ 管理页面点消息ID提示Error
- C#WIFI搜索与连接
- HDU
- 马拦过河卒
- 软件