概率图模型学习(3)——马尔科夫网表示1

一．           基本概念

1.     基本要素

因子∅：从Val(D)映射到实数域R的一个函数。除非另行说明，只关注非负的因子。

随机变量集合D。

变量集D称为因子的辖域。

    ∅越大，两个值的兼容性越好。

因子的运算：

马尔科夫网中将联合概率分布和CPD都用因子表示了：令表示那么

 

2.     完备子图和极大团

团：团是一个两两之间有边的顶点集合。

最大（极大）团：一个团不被其他任何一个团包含则为最大团。

完备子图：最大团集合的子集。

 

3.     主线概念——吉布斯分布和马尔科夫网

吉布斯分布总结起来就是：分布满足因子运算后归一化。

 

马尔科夫网是随机变量集的无向图模型，侧重表现变量之间的交互影响。马尔科夫网结构用表示。

 

马尔科夫网和吉布斯分布的关系：

 

参数化马尔科夫网的因子通常称为团位势。

 

 

4.     马尔科夫网简化

这个定义的含义其实很简单：当U确定为u时，马尔科夫网的辖域简化为Y-U（也就是变量集U在马尔科夫网中可以去除掉），所有U不等于u的因子也可以不考虑了。

 

二．        独立性

1.     基本独立性

马尔科夫网的基本独立性是可靠和完备的，可靠表现在从正向推导I-map完全成立，从反向推导，当P为正分布（所有变量的概率非0）时成立。

严格的完备性不成立，弱化的完备性成立：

 

2.     独立性关系

马尔科夫三个性：全局独立性（）、成对对立性（）、局部独立性（）。

其中全局独立性上面已经提过了，而成对独立性和局部独立性如下：

三者的关系：

 

3.     从分布到图

这其实就是根据局部独立性和成对独立性构造最小I-map。具体如下：

 

三．        参数化

1.     细粒度参数化方法——因子图和对数线性模型

因子图：包含变量节点和因子结点。

同一个马尔科夫网可以表示多个分布，但假如因子后，因子图只表示一个分布。如图：

 

对数线性模型：

由来如下：

感觉f(D)就是因子的对数表示（未加权）。这样保证了分布P为正。

 

马尔科夫网参数化表示有三种方式：(1).马尔科夫网上团位势乘积；(2).因子图上因子乘积；(3).特征集在特征权重上表示乘积。

 

2.     标准参数化

标准参数化采用能量函数，而不是团位势，也就是采用对数线性模型将参数化细粒度。

消除冗余参数：

这个暂时不太明白怎么用。

 

四．        总结

总的来说，马尔科夫网以无向的方式表示变量间的交互影响。而表示马尔科夫网的关键点有两种：因子集（或者叫团位势）、特征集，他们都是变量向实数集映射的函数，只是映射的方式不同，特征集以线性对数模型映射，可保证吉布斯分布为正。同时，线性特征形式可以消除冗余。

马尔科夫网对应的分布为吉布斯分布，是因子乘积或者负向特征加权和求幂。