自然语言处理5-条件随机场（CRF）

条件随机场模型是Lafferty于2001年，在最大熵模型和隐马尔科夫模型的基础上，提出的一种判别式概率无向图学习模型，是一种用于标注和切分有序数据的条件概率模型；

条件随机场模型作为一个整句联合标定的判别式概率模型，同时具有很强的特征融入能力，是目前解决自然语言序列标注问题最好的统计模型之一。条件随机场的缺点是训练的时间比较长。

条件随机场定义

 

设G=（V，E）是一个无向图，Y=(Y_v)，，Y表示图中顶点的结合。如果在观察变量X的条件下，在图G中随机变量Y_v服从马尔科夫属性，即：表示在图G中，v，w是邻居，那么（X,Y）就表示一个条件随机场。

即它是在给定需要标记的观察序列 X的条件下计算整个标记序列 Y的联合概率分布，而不是在给定当前状态条件下定义下一个状态的分布。公式如下所示：

 

HMM.vs MEMM .vs CRF

隐马尔可夫模型中存在两个假设：输出独立性假设和马尔可夫性假设。其中，输出独立性假设要求序列数据严格相互独立才能保证推导的正确性，而事实上大多数序列数据不能被表示成一系列独立事件。而条件随机场则使用一种概率图模型，条件随机场没有隐马尔可夫模型那样严格的独立性假设条件，因而可以容纳任意的上下文信息，可以灵活地设计特征。同时，条件随机场具有表达长距离依赖性和交叠性特征的能力，而且所有特征可以进行全局归一化，能够求得全局的最优解，还克服了最大熵马尔可夫模型标记偏置的缺点。

下图是用图的形式描述HMM（左），MEMM（中），链式的CRF（右）表示序列时的区别。注（空心圆表示此变量是不用于描述模型的）。其中HMM中，Y_i只与Y_i-1有关，而X_i输出只与Y_i有关。在MEMM中，Y_i 是由X_i和Y_i-1确定的，在CRF中，确定某个Y_i，它会考虑整个Y及X_i的。