机器学习之条件随机场(CRF)
来源:互联网 发布:淘宝美工素材网站 编辑:程序博客网 时间:2024/05/16 23:35
什么是CRF
CRF即条件随机场(Conditional Random Fields),是在给定一组输入随机变量条件下另外一组输出随机变量的条件概率分布模型,它是一种判别式的概率无向图模型,既然是判别式,那就是对条件概率分布建模。
CRF较多用在自然语言处理和图像处理领域,在NLP中,它是用于标注和划分序列数据的概率化模型,根据CRF的定义,相对序列就是给定观测序列X和输出序列Y,然后通过定义条件概率P(Y|X)来描述模型。
CRF的输出随机变量假设是一个无向图模型或者马尔科夫随机场,而输入随机变量作为条件不假设为马尔科夫随机场,CRF的图模型结构理论上可以任意给定,但我们常见的是定义在线性链上的特殊的条件随机场,称为线性链条件随机场。
概率无向图模型
前面说到CRF的输出随机变量是一个概率无向图模型,那么现在看看该模型。
概率无向图模型是由无向图表示的联合概率分布,假设联合概率分布P(Y)通过无向图来表示,则在图中节点表示随机变量,边表示随机变量之间的依赖关系,联合概率分布P(Y)满足马尔科夫性则称其为概率无向图模型,或者是马尔科夫随机场。
如下图,图是一个由节点和边组成的结构体,无向是指边没有方向,整个图记作G=(V,E),其中V为节点的集合,E为边的集合。
每个节点v对应一个随机变量
线性链条件随机场
无向图的结构理论上可以是任意的,但在NLP中对于标记处理问题,对其建模主要用最简单最普通的链式结构,即线性链条件随机场。如下图,可以看到节点为线性链结构,节点对应了序列Y的元素,而观察序列X不做任何独立性假设,但X序列的结构也可以是线性链结构。
综上所述,设有线性链结构的随机变量序列
概率的定义
在线性链条件随机场中,在给定的观察序列X情况下,某个特定序列Y的概率为
其中,
转移函数和状态函数都称为特征函数,特征函数一般取值0或1,满足特征函数的则为1,否则为0。比如下面的转移函数,只有当
如果我们令
最后再加上归一化,最终条件随机场的条件概率为,
其中,
如何训练CRF
训练CRF主要就是要训练特征函数的权重,对于训练集
其中
然后对
啥时考虑CRF
如果信息是与时间或空间的前后有关联时要考虑到CRF。
以下是广告
========广告时间========
公众号的菜单已分为“分布式”、“机器学习”、“深度学习”、“NLP”、“Java深度”、“Java并发核心”、“JDK源码”、“Tomcat内核”等,可能有一款适合你的胃口。
鄙人的新书《Tomcat内核设计剖析》已经在京东销售了,有需要的朋友可以购买。感谢各位朋友。
为什么写《Tomcat内核设计剖析》
=========================
欢迎关注:
- 机器学习之条件随机场(CRF)
- 机器学习之条件随机场(CRF)
- 机器学习之条件随机场CRF一点理解
- 机器学习 条件随机场CRF
- 机器学习:CRF:条件随机场
- 机器学习实战——条件随机场(CRF)
- 条件随机场(CRF)学习
- 机器学习算法——条件随机场CRF
- 条件随机场(CRF)
- 条件随机场(CRF)
- 条件随机场(CRF)
- 条件随机场(CRF)
- 条件随机场(CRF)
- CRF 条件随机场
- CRF-条件随机场
- 条件随机场(CRF)
- 条件随机场(CRF)
- 条件随机场(CRF)
- 智能算法+DNN
- Nginx负载均衡与高可用的实现
- python_tornado
- centos7下git安装及使用
- ContOS7.X 下 安装 MySql
- 机器学习之条件随机场(CRF)
- install pydot and graphviz for win10
- bzoj3997 [TJOI2015]组合数学
- ScrollView 嵌套RecyclerView只显示一行
- web前端面试问题
- 【JAVA-Mybatis】MyBatis 常用逻辑符号转换
- RabbitMQ插件--Trace的使用
- PAT (Top Level) Practise1019Separate the Animals (35)
- nodejs与RESTful API