马尔可夫网络

来源：互联网发布：高帮板鞋知乎编辑：程序博客网时间：2024/04/20 13:44

马尔可夫网络，（马尔可夫随机场、无向图模型）是关于一组有马尔可夫性质随机变量 $X$ 的全联合概率分布模型。马尔可夫网络类似贝叶斯网络用于表示依赖关系。但是，一方面它可以表示贝叶斯网络无法表示的一些依赖关系，如循环依赖；另一方面，它不能表示贝叶斯网络能够表示的某些关系，如推导关系。马尔可夫网络的原型是易辛模型，最初是用来说明该模型的基本假设。

用前苏联数学家辛钦（1894－1959〕的话来说，就是承认客观世界中有这样一种现象，其未来由现在决定的程度，使得我们关于过去的知识丝毫不影响这种决定性。这种在已知“现在”的条件下，“未来”与“过去”彼此独立的特性就被称为马尔科夫性，具有这种性质的随机过程就叫做马尔科夫过程，其最原始的模型就是马尔科夫链。这即是对荷兰数学家惠更斯（Ch. Huygens, 1629－1659）提出的无后效原理的概率推广，也是对法国数学家拉普拉斯（P. S. Laplace, 1749－1827）机械决定论的否定。

马尔可夫性质：

它指的是一个随机变量序列按时间先后关系依次排开的时候，第N+1时刻的分布特性，与N时刻以前的随机变量的取值无关。拿天气来打个比方。如果我们假定天气是马尔可夫的，其意思就是我们假设今天的天气仅仅与昨天的天气存在概率上的关联，而与前天及前天以前的天气没有关系。其它如传染病和谣言的传播规律，就是马尔可夫的。

随机场：

当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。我们不妨拿种地来打个比方。其中有两个概念：位置（site），相空间（phase space）。“位置”好比是一亩亩农田；“相空间”好比是种的各种庄稼。我们可以给不同的地种上不同的庄稼，这就好比给随机场的每个“位置”，赋予相空间里不同的值。所以，俗气点说，随机场就是在哪块地里种什么庄稼的事情。

马尔可夫随机场：

也叫马尔可夫网，拿种地打比方，如果任何一块地里种的庄稼的种类仅仅与它邻近的地里种的庄稼的种类有关，与其它地方的庄稼的种类无关，那么这些地里种的庄稼的集合，就是一个马尔可夫随机场。

无向图模型也叫马尔科夫随机场(Markov Random Fields)或马尔科夫网络(Markov Network)，无向图模型有一个简单的独立定义：两个节点集A、B都与给定的第三个节点集C相互条件独立，A、B节点之间的路径都被C中的节点分开。

相比之下，有向图模型也叫贝叶斯网络(Bayesian networks)或信念网络(Belief Networks)，有向图模型有一个更复杂的独立性观念。

形式化定义：

形式上，一个马尔可夫网络包括：

一个无向图 G = (V,E)，每个顶点 v ∈V 表示一个在集合 $X$ 的随机变量，每条边 {u,v} ∈ E 表示随机变量u 和 v之间的一种依赖关系。
一个函数集合 $f_k$ （也称为因子或者 团因子 有时也称为特征），每一个 $f_k$ 的定义域是图G的团或子团k. 每一个 $f_k$ 是从可能的特定联合的指派（到元素k）到非负实数的映射。

联合分布函数：

联合分布（吉布斯测度）用马尔可夫网络可以表示为：
$P(X=x) = \frac{1}{Z} \prod_{k} f_k (x_{ \{ k \}})$
其中 $x=x_{\{1\}}x_{\{2\}}x_{\{3\}}\cdots$ 是向量， $x_{ \{ k \}} = x_{\{k,1\}}x_{\{k,2\}}\cdots x_{\{k,|c_k|\}}$ 是随机变量 $x_{ \{ k \}}$ 在第k个团的状态（ $|c_k|$ 是在第k个团中包含的节点数。），乘积包括了图中的所有团。注意马尔可夫性质在团内的节点存在，在团之间是不存在依赖关系的。这里， $Z$ 是配分函数，有
$Z = \sum_{x \isin \mathcal{X}} \prod_{k} f_k(x_{ \{ k \} })$ .
实际上，马尔可夫网联络经常表示为对数线性模型。通过引入特征函数 $\phi_k$ ，得到
$f_k=\exp \left(w_k^{\top} \phi_k (x_{ \{ k \}}) \right)$
和
$P(X=x) = \frac{1}{Z} \exp \left( \sum_{k} w_k^{\top} \phi_k (x_{ \{ k \}}) \right)$
以及划分函数
$Z = \sum_{x \isin \mathcal{X}} \exp \left(\sum_{k} w_k^{\top}\phi_k(x_{ \{ k \} })\right)$ 。
其中， $w_k$ 是权重， $\phi_k$ 是势函数，映射团 $k$ 到实数。这些函数有时亦称为吉布斯势；术语势源于物理，通常从字面上理解为在临近位置产生的势能。
对数线性模型是对势能的一种便捷的解释方式。一个这样的模型可以简约的表示很多分布，特别是在领域很大的时候。另一方面，负的似然函数是凸函数也带来便利。但是即便对数线性的马尔可夫网络似然函数是凸函数，计算似然函数的梯度仍旧需要模型推理，而这样的推理通常是难以计算的。
马尔可夫性质：