条件随机场专题(3)--说起CRF,不得不提的HMM
来源:互联网 发布:手机 dns劫持 数据网络 编辑:程序博客网 时间:2024/06/02 00:20
说起CRF(条件随机场),不得不提起HMM(隐马尔可夫模型),因为HMM和CRF很像。只不过HMM是生成模型,运用的是统计概率;而CRF是判别模型,运用的是生成判别函数,进行迭代求参。
1.基本原理:
隐马尔可夫的基本原理可以用下图说明:
我们可以用一个实例来解释,比如说:词性标注问题,上边是各个分词序列(X),下边是各个分词的词性序列(y),假设我们一句话中有8个词,词性有5种。那么,这时候就有可能的词性序列就有8的5次方个。
一个HMM由以下几个部分组成:
1.模型的状态的数目N(相当于用例中的8个词)
2.每个状态可能出现的可能的数目M(相当于用例中的5个词性)
3.状态转移概率矩阵A={aij}(N*N)(相当于用例中的8*8)
4.从状态观察到的标签的概率分布B={bjk}(N*M)(相当于用例中的8*5)
5.初始状态概率分布π(N*1)
2.HMM算法流程:
(1)初始化状态的概率分布π
(2)设t=1
(3)根据状态的输出概率bjk输出Ot
(4)根据状态转移概率分布aij,将当前时刻t的状态转移到新的状态
(5)t=t+1,如果t<T,重复步骤(3)(4),否则,结束算法
3.HMM中有三个基本问题:
1.估计问题:主要是在已知模型的条件下,求给定观测序列出现的概率,P(O|u)
方法:暴力计算法O(NMN)、前向算法O(NM2)、后向算法O(NM2)
2.序列问题:已知模型参数和观测序列,求观测序列队以很高的最可能的状态序列
方法:“近似算法-->贪心算法-->局部最优”、“维特比算法-->动态规划”
3.参数估计:给定一个观察序列,如何最大似然的估计参数值,使得P(O|u)最大
方法:“监督学习-->给出观测序列+对应的状态序列-->极大似然估计”、“非监督学习-->只有观测序列,无对应状态序列-->前后向算法”
4.HMM三个基本问题:
1.估计问题:通过词语序列,计算该词语序列发生的概率
2.解码问题:通过词语序列,找到与之最匹配的词性序列
3.参数估计:通过匹配出来的结果,进行优化参数
注意:在词性标注中,词语序列是观察序列(即X),词性序列是隐藏序列,属于HMM的解码问题
- 条件随机场专题(3)--说起CRF,不得不提的HMM
- 条件随机场(CRF)相对于HMM,MEMM的优势
- 条件随机场CRF HMM,MEMM的比较
- 条件随机场(CRF)与隐马尔科夫模型(HMM)
- 条件随机场专题(1)--CRF介绍
- 条件随机场专题(2)--CRF模型
- 条件随机场(CRF)
- 条件随机场(CRF)
- 条件随机场(CRF)
- 条件随机场(CRF)
- 条件随机场(CRF)
- 统计模型之间的比较,HMM,最大熵模型,CRF条件随机场
- CRF 条件随机场
- CRF-条件随机场
- 条件随机场(CRF)
- 条件随机场(CRF)
- 条件随机场(CRF)
- CRF(条件随机场)
- BZOJ2242 SDOI2011 计算器
- Docker指定网桥和指定网桥IP
- P2327 [SCOI2005]扫雷
- PHP开源框架之AJAX
- Ubuntu14.04.3安装Openssh-server
- 条件随机场专题(3)--说起CRF,不得不提的HMM
- win10下安装caffe新得
- 搭建自己的docker registry,非生产环境
- Android广播总结
- zxing实现生成二维码与解析
- 安卓QQ,微信分享URL后面拼接参数
- uva 514 Rails
- 因服务器时间不一致导致的MapRecude 任务运行失败
- 计算机网络——运输层TCP/UDP