CRF,HMM和MEHMM区别
来源:互联网 发布:如何不交保证金开淘宝 编辑:程序博客网 时间:2024/05/17 22:13
前言:
已知输入x,类别标签y:
判别式模型估计条件概率分布P(y|x),常见有:LR,SVM,NN,KNN,CRF,LDA,线性回归
产生式模型估计联合概率分布P(x,y),常见有:NB,HMM
CRF,HMM和MEHMM是在序列标注中常用的三种模型,但是也各有优缺点,现在从以下几个方面进行以下比较:(条件随机场,隐马尔科夫,最大熵隐马尔科夫)
1)生成式模型or判别式模型(假设 o 是观察值,m是模型。)
a)生成式模型:无穷样本 -> 概率密度模型 =产生式模型 ->预测
如果对P(o|m)建模,就是生成式模型。其基本思想是首先建立样本的概率密度模型,再利用模型进行推理预测。要求已知样本无穷或尽可能的大限制。这种方法一般建立在统计力学和 Bayes理论的基础之上。
HMM模型对转移概率和表现概率直接建模,统计共同出现的概率,是一种生成式模型。
b)判别式模型:有限样本 -> 判别函数 =判别式模型->预测
如果对条件概率 P(m|o) 建模,就是判别模型。其基本思想是有限样本条件下建立判别函数,不考虑样本的产生模型,直接研究预测模型。代表性理论为统计学习理论。
CRF是一种判别式模型。MEMM不是一种生成式模型,它是一种基于下状态分类的有限状态模型。
2)拓扑结构
HMM和MEMM是一种有向图,CRF是一种无向图
3)全局最优or局部最优
HMM对转移概率和表现概率直接建模,统计共现概率。
MEMM是对转移概率和表现概率建立联合概率,统计时统计的是条件概率,由于其只在局部做归一化,所以容易陷入局部最优。
CRF是在全局范围内统计归一化的概率,而不像是MEMM在局部统计归一化概率。是全局最优的解。解决了MEMM中标注偏置的问题。
4)优缺点比较
优点:
a)与HMM比较。CRF没有HMM那样严格的独立性假设条件,因而可以容纳任意的上下文信息。特征设计灵活(与ME一样)
b)与MEMM比较。由于CRF计算全局最优输出节点的条件概率,它还克服了最大熵马尔可夫模型标记偏置(Label-bias)的缺点。
c)与ME比较。CRF是在给定需要标记的观察序列的条件下,计算整个标记序列的联合概率分布,而不是在给定当前状态条件下,定义下一个状态的状态分布。
缺点:
训练代价大、复杂度高
- CRF,HMM和MEHMM区别
- CRF、HMM和MEHMM
- HMM MEMM CRF 区别 联系
- CRF HMM,MEMM的区别
- HMM 与 CRF的区别
- HMM MEMM CRF 区别 联系
- HMM和CRF简单推导
- HMM ,MHMM,CRF 优缺点与区别
- ME, HMM, MEMM, CRF
- ME, HMM, MEMM, CRF
- MRF HMM CRF简笔
- ME, HMM, MEMM, CRF
- HMM/MEMM/CRF
- HMM->MEMM->CRF
- CRF,HMM,MEMM
- HMM+CRF笔记
- HMM与CRF
- CRF&HMM的Matlab代码
- 在win10下安装eclipse
- R语言GGPlot2
- 大话设计模式阅读笔记-依赖倒转原则
- 什么是vue脚手架
- Data Mining Competition中数据缺失值处理
- CRF,HMM和MEHMM区别
- [算法] 基本图算法的c++实现:广度优先搜索
- 第5次数据结构上机(01背包递归求解)
- ZJCOJ:qwb和李主席(DFS & 思维)
- 【模板】【长期施工】算法、数据结构模板集合贴(17.6.13更新至10篇)
- 文章标题
- 字符数组与字符串的转换
- Ubuntu12.04安装配置OpenJDK8
- 每位技术人员都该敬仰的老板--任正非