条件随机场

马尔科夫随机场

马尔可夫随机场（Markov Random Field）包含两层意思。
马尔可夫性质：它指的是一个随机变量序列按时间先后关系依次排开的时候，第N+1时刻的分布特性，与N时刻以前的随机变量的取值无关。拿天气来打个比方。如果我们假定天气是马尔可夫的，其意思就是我们假设今天的天气仅仅与昨天的天气存在概率上的关联，而与前天及前天以前的天气没有关系。其它如传染病和谣言的传播规律，就是马尔可夫的。
随机场：当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。我们不妨拿种地来打个比方。其中有两个概念：位置（site），相空间（phase space）。“位置”好比是一亩亩农田；“相空间”好比是种的各种庄稼。我们可以给不同的地种上不同的庄稼，这就好比给随机场的每个“位置”，赋予相空间里不同的值。所以，俗气点说，随机场就是在哪块地里种什么庄稼的事情。
马尔可夫随机场：拿种地打比方，如果任何一块地里种的庄稼的种类仅仅与它邻近的地里种的庄稼的种类有关，与其它地方的庄稼的种类无关，那么这些地里种的庄稼的集合，就是一个马尔可夫随机场。

条件随机场

在以下的条件随机场模型介绍中， 随机变量Χ表示需要标记的观察序列集。 随机变量Υ表示相应的表示标记序列集。所有的 Υ ∈ Υi被假设在一个大小为N 的有限字符集内。随机量Χ和Υ 是联合分布，但在判别式模型中我们构造一个关于观察序列和标记序列的条件率模型p(Y|X)和一个隐含的边缘概率模型 p(X)。下面给出条件随机场定义： 

条件随机场定义：令 G = ( E , V )表示一个无向图，Υ =(Υv)v ∈V，Υ中元素与无向图G中的顶点一一对应。当在条件Χ下，随机变量Υv 的条件概率分布服从图的马尔可夫属性：
，

其中  w ~ v表示 (w, v)是无向图G 的边。这时我们称(Χ,Υ)是一个条件随机场。

我们可以把条件随机场看成是一个无向图模型或马尔可夫随机场，它是一种用来标记和切分序列化数据的统计模型。该模型是在给定需要标记的观察序列的条件下，计算整个标记序列的联合概率，而不是在给定当前状态条件下，定义下一个状态的分布。标记序列(Label Sequence)的分布条件属性，可以让 CRFs 很好的拟和现实数据，而在这些数据中，标记序列的条件概率信赖于观察序列中非独立的、相互作用的特征，并通过赋予特征以不同权值来表示特征的重要程度。

CRF优于HMM的地方在于，它可以引入更多的特征，包括词语本身特征和词语所在上下文的特征，而非单词本身。

下面着重讲最简单的一阶链式条件随机场。

设P(Y|X)为线性链条件随机场，则在随机变量X取值为x的条件下，随机变量Y取值为y的条件概率有以下形式：

上式中，tk和sl是特征函数，λkμl是对应的权值，Z(x)是规范化因子。

tk是定义在边上的特征函数，称为转移特征，依赖于当前和前一个位置；
sl是定义在结点上的特征函数，称为状态特征，依赖于当前位置；
tk 和sl都依赖于位置，是局部特征函数；
通常，tk和sl取值为1或者0；满足特征条件时取1，否则取0；
CRF完全由特征函数tk 、sl和对应的权值λkμl确定。
线性链条件随机场模型属于对数线性模型。

为了统一转移函数和状态函数的表达形式，我们可以把状态函数写为下式：

并用 统一表示， fk 可能是状态函数 sk或转移函数tk，又令：

从而结定观察序列x条件下，相应的标记序列为 y的概率可以写为：

crf的参数估计

对于对数线性模型来说，从最大似然的角度和最大熵的角度来分析，最终殊途同归。

假设给定训练集D一{(X1,,Y1),(X2,Y2),…,(XN,YN)},(Xi,,Yi)相互独立同分布,根据最大嫡模型对参数兄估计采用最大似然估计法。条件概率p(y|x,λ)的对数似然函数形式为:

对于该 CRFs概率模型来说，对数最大似然参数估计的任务是从相互独立的训练数据中估计参数 λ=(λ1, λ2,... ,λn)的值，则对数似然函数可写为下式：

假设链式结构的无向图分别有一个特殊的起始节点和终止节点， 分别用 Υ0 和Υn+1 表示。则经验分布概率和由模型得到的概率的数学期望为：

根据对数似然函数对相应的参数 λk 求一阶偏导数：

令上式等于0，即模型分布的特征期望等于经验分布中的期望，这就是对数似然函数取极值的条件。这样求解参数λ并不一定总是得到一个近似解， 因而需要利用一些迭代技术来选择参数， 使对数似然函数最大化。 通常采用的方法是改进的迭代缩放 （Improved Iterative Scaling, IIS）或者基于梯度的方法，例如LBFGS来计算参数。

CRF++: Yet Another CRF toolkit

wiki-Conditional random field

An Introduction to Conditional RandomFields for Relational Learning

中文分词入门之字标注法4

CRF++模型格式说明

如何推导条件随机场参数估计的全过程

机器学习&数据挖掘笔记_23（PGM练习七：CRF中参数的学习）

如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别

条件随机场

CRF(Conditional Random Field) 条件随机场

利用条件随机场工具CRF完成中文分词