条件随机场入门（二） 条件随机场的模型表示

linear-chain 条件随机场

条件随机场（conditional random field）是给定随机变量 X 条件下，随机变量 Y 的马尔可夫随机场。本文主要介绍定义在线性链上的特殊的条件随机场，称为线性链条件随机场（linear-chain CRF)。线性链条件随机场可以用于机器学习里的标注问题。这时，在条件概率模型 P(Y|X)P(Y|X) 中，Y 是输出变量，表示标记序列，也把标记序列称为状态序列（同 HMM 中的状态序列)；X 是输入变量，表示观测序。学习时，利用训练数据集通过极大似然估计或正则化的极大似然估计得到条件概率模型 P̂ (Y|X)P^(Y|X) ；然后使用该模型预测即可。

CRF 的定义

设 X 与 Y 是随机变量，P(Y|X)P(Y|X) 是在给定 X 的条件下 Y 的条件概率分布。若随机变量 Y 构成一个由无向图 G = (V,E) 表示的马尔可夫随机场，即：

P(Yv|X,Yw,w≠v)=P(Yv|X,Yw,w∼v)P(Yv|X,Yw,w≠v)=P(Yv|X,Yw,w∼v)

对任意结点 v 成立，则称条件概率分布 P(Y|X)P(Y|X) 为条件随机场。式中 w∼vw∼v 表示在图 G = (V,E) 中与结点 v 有边连接的所有结点 w， w≠vw≠v 表示结点 v 以外的所有结点，Yu,Yv,YwYu,Yv,Yw 为结点 u,v,wu,v,w 对应的随机变量，从定义来看，左边到右边点的数量大大减小，w≠vw≠v 的点有 |V|−1|V|−1 个，而 w∼vw∼v 就少了，其实就是说当前变量只跟与之相邻的变量有关系，而独立于没有直接连接的变量。

在定义中并没有要求 X 和 Y 具有相同的结构。现实中，一般假设 X 和 Y 有相同的图结构。本书主要考虑无向图为线性链的情况，即对于节点 1 到 n，边的情为： E={(i,i+1)}n−1i=1E={(i,i+1)}i=1n−1 ，在此情况下 X={Xi}ni=1,Y={Yi}ni=1X={Xi}i=1n,Y={Yi}i=1n ，最大团是相邻两个结点的集合,下图即为 liner-chain CRF：

线性链条件随机场的定义：设 X={Xi}ni=1, Y={Yi}ni=1X={Xi}i=1n, Y={Yi}i=1n 均为线性链表示的随机变量序列，若在给定随机变量序列 X 的条件下，随机变量序列 Y 的条件概率分布 P(Y|X)构成条件随机场，即满足马尔可夫性

P(Yi|X,Y1,…,Yi−1,Yi+1,…,Yn)=P(Yi|X,Yi−1,Yi+1)P(Yi|X,Y1,…,Yi−1,Yi+1,…,Yn)=P(Yi|X,Yi−1,Yi+1)

则称 P(Y|X)P(Y|X) 为线性链条件随机场。注意当 i=1i=1 或 i=ni=n 时只考虑一侧，在标注问题中，X 表示输入观测序列，Y 表示对应的输出标记序列或状态序列。

CRF 的参数化形式

根据 Hammersley-Clifford 定理,可以给出线性链条件随机场 P(Y|X)P(Y|X)的因子分解式，各因子是定义在相邻两个结点上的函数。在随机变量 X 取值为 x 的条件下，随机变量 Y 取值为 y 的条件概率具有如下形式：

P(y|x)=1Z(x)exp{∑i,kλktk(yi−1,yi,x,i)+∑i,lμlsl(yi,x,i)}P(y|x)=1Z(x)exp⁡{∑i,kλktk(yi−1,yi,x,i)+∑i,lμlsl(yi,x,i)}

其中 Z(x) 为归一化项：

Z(x)=∑y{∑i,kλktk(yi−1,yi,x,i)+∑i,lμlsl(yi,x,i)}Z(x)=∑y{∑i,kλktk(yi−1,yi,x,i)+∑i,lμlsl(yi,x,i)}

式中， tktk 和 slsl 是特征函数，λkλk 和 μlμl 是对应的权值。 Z(x)Z(x) 是规范化因子，求和是在所有可能的输出序列上进行的。以上两个式子是线性链条件随机场模型的基本形式，表示给定输入序列 x ,对输出序列 y 预测的条件概率。其中 tktk 是定义在边上的特征函数，称为转移特征（ t 是transition的缩写），依赖于当前和前一个位置， slsl 是定义在结点上的特征函数，称为状态特征（s 是status的缩写），依赖于当前位置（无论哪种特征函数，都将当前可能的 yiyi 作为数）。 tktk 和 slsl 都依赖于位置，是局部特征函数。通常，特征函数 tktk 和 slsl 取值为 1 或 0 ；当满足特征条件时取值为 1 ,否则为 0 。CRF 完全由特征函数和对应的权值 λk,μlλk,μl 确定,线性链条件随机场也是对数线性模型（loglinear model)。

CRF 的简化形式

CRF 还可以由简化形式表示。注意到条件随机场式中同一特征在各个位置都有定义，可以对同一个特征在各个位置求和，将局部特征函数转化为一个全局特征函数，这样就可以将条件随机场写成权值向量和特征向量的内积形式，即条件随机场的简化形式，为简便起见，首先将转移特征和状态特征及其权值用统一的符号表示。设有 K1K1 个转移特征，K2K2 个状态特征,记

fk(yi−1,yi,x,i)={tk(yi−1,yi,x,i),  k=1,2,...,K1st(yi,x,i),          k=K1+l;l=1,2,...,K2fk(yi−1,yi,x,i)={tk(yi−1,yi,x,i),  k=1,2,...,K1st(yi,x,i),          k=K1+l;l=1,2,...,K2

上式其实是对特征函数进行编码，编号的前 K1K1 个属于转移特征，后 K2K2 个属于状态特征。记 K=K1+K2K=K1+K2 ，编号统一了，后面就可以放到同一个矩阵里了。

然后，对转移与状态特征在各个位置 i 求和，记作

fk(y,x)=∑i=1nfk(yi−1,yi,x,i),   k=1,2,…,Kfk(y,x)=∑i=1nfk(yi−1,yi,x,i),   k=1,2,…,K

上式的特征函数虽然都写成接受 4 个参数的形式，但对状态特征函数而言，yi−1yi−1 是会被忽略掉的，用 wkwk 表示特征fk(y,x)fk(y,x) 的权值，即： 

wk={λk,  k=1,2,...,K1μl,  k=K1+l;l=1,2,...,K2wk={λk,  k=1,2,...,K1μl,  k=K1+l;l=1,2,...,K2

于是，条件随机场可表示为：

P(y|x)Z(x)=1Z(x)exp{∑k=1Kwkfk(y,x)}=∑yexp{∑k=1Kwkfk(y,x)}P(y|x)=1Z(x)exp⁡{∑k=1Kwkfk(y,x)}Z(x)=∑yexp⁡{∑k=1Kwkfk(y,x)}

若 w 表示权值向量，即

w=(w1,w2,…,wK)Tw=(w1,w2,…,wK)T

以 F(y,x) 表示全局特征向量，即：

F(y,x)={f1(y,x),f2(y,x),…,fK(y,x)}TF(y,x)={f1(y,x),f2(y,x),…,fK(y,x)}T

则条件随机场可以写成向量 w 与 F(y,x) 的内积的形式:

Pw(y|x)=exp{w⋅F(y,x)}Zw(x)Pw(y|x)=exp⁡{w⋅F(y,x)}Zw(x)

其中，

Zw(x)=∑yexp{w⋅F(y,x)}Zw(x)=∑yexp⁡{w⋅F(y,x)}

条件随机场的矩阵形式

条件随机场还可以由矩阵表示。假设 Pw(y|x)Pw(y|x) 是由内积形式给出的线性链条件随机场，表示对给定观测序列 x ，相应的标记序列 y 的条件概率。引进特殊的起点和终点状态标记 y0=start,yn+1=stopy0=start,yn+1=stop，这时 Pw(y|x)Pw(y|x) 可以通过矩阵形式表示。

对观测序列 x 的每一个位置 i=1,2,…，n+1i=1,2,…，n+1，定义一个 m 阶矩阵（m 是标记 yiyi 取值的个数，因为 x 是给定的，$ i-1 和位置 i 各有 m 种可能，所以是 m 阶矩阵）：

Mi(x)Mi(yi−1,yi|x)Mi(yi−1,yi|x)={Mi(yi−1,yi|x)}=exp{Wi(yi−1,yi|x)}=∑k=1Kwk⋅fk(yi−1,yi,x,i)Mi(x)={Mi(yi−1,yi|x)}Mi(yi−1,yi|x)=exp⁡{Wi(yi−1,yi|x)}Mi(yi−1,yi|x)=∑k=1Kwk⋅fk(yi−1,yi,x,i)

其实矩阵定义了一个 状态 yi−1yi−1 的 m 种状态到 yiyi 的 m 种状态的转移的概率：

Mi(yi−1,yi|x)=exp{∑kλkfk(yi−1,yi,x,i)}=exp{∑kλktk(yi−1,yi,x,i)+∑lμlsl(yi,x,i)}Mi(yi−1,yi|x)=exp⁡{∑kλkfk(yi−1,yi,x,i)}=exp⁡{∑kλktk(yi−1,yi,x,i)+∑lμlsl(yi,x,i)}

举例来说，当 m = 3 时，除了 i =1 或者 i = n-1 ，每个矩阵 Mi(x)∈ℝ3×3Mi(x)∈R3×3， 如下图所示：

矩阵的形式类似于 HMM 中的转移矩阵，代表了状态之间转移的概率，其形式是这样的:

M1(x)M2(x)Mi(x) Mn+1(x)=[M1(y0,y1|x)M1(y0,y3|x)M1(y0,y3|x)]=⎡⎣⎢⎢M2(y1,y1|x)M2(y2,y1|x)M2(y3,y1|x)M2(y1,y2|x)M2(y2,y2|x)M2(y3,y2|x)M2(y1,y3|x)M2(y2,y3|x)M2(y3,y3|x)⎤⎦⎥⎥has the same form with M2(X), i=3,...,n=⎡⎣⎢⎢Mn+1(y1,yn|x)Mn+1(y2,yn|x)Mn+1(y3,yn|x)⎤⎦⎥⎥M1(x)=[M1(y0,y1|x)M1(y0,y3|x)M1(y0,y3|x)]M2(x)=[M2(y1,y1|x)M2(y1,y2|x)M2(y1,y3|x)M2(y2,y1|x)M2(y2,y2|x)M2(y2,y3|x)M2(y3,y1|x)M2(y3,y2|x)M2(y3,y3|x)]Mi(x) has the same form with M2(X), i=3,...,nMn+1(x)=[Mn+1(y1,yn|x)Mn+1(y2,yn|x)Mn+1(y3,yn|x)]

这样，给定观测序列x,标记序列 y 的非规范化概率可以通过 n+1 个矩阵的乘积 ∏n+1i=1Mi(yi−1,yi|x)∏i=1n+1Mi(yi−1,yi|x) 表示，于是，条件概率 Pw(y|x)Pw(y|x) 是：

Pw(y|x)=1Zw(x)∏i=1n+1Mi(yi−1,yi|x)Pw(y|x)=1Zw(x)∏i=1n+1Mi(yi−1,yi|x)

其中，Zw(x)Zw(x) 为规范化因子，是 n+1 个矩阵的乘积的 (start,stop) 元素：

Zw(x)={M1(x),M2(x)…Mn+1(x)}stopstartZw(x)={M1(x),M2(x)…Mn+1(x)}startstop

注意，y0=starty0=start 与 yn+1=stopyn+1=stop 表示开始状态与终止状态，规范化因子 Zw(x)Zw(x) 是以 start 为起点 stop 为终点通过状态的所有路径的非规范化概率 y1,y2,…,yny1,y2,…,yn 之和。

这里的 M 矩阵像极了 HMM 中的转移概率矩阵，因为链式 CRF 中只有相邻两个节点间才有连接边。

 

参考：

http://www.hankcs.com/ml/conditional-random-field.html

 

 

 

 

https://shaoweicai.wordpress.com/2009/06/17/%E4%BD%BF%E7%94%A8crf%E8%BF%9B%E8%A1%8C%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D/ crf 做分词

条件随机场理论综述 paper

统计学习方法 book