马尔科夫随机场和马尔科夫链

一.概念表达

马尔科夫随机场

         马尔可夫性质：它指的是一个随机变量序列按时间先后关系依次排开的时候，第N+1时刻的分布特性，与N时刻以前的随机变量的取值无关。

            随机场：当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。我们不妨拿种地来打个比方。其中有两个概念：位置（site），相空间（phase space）。“位置”好比是一亩亩农田；“相空间”好比是种的各种庄稼。我们可以给不同的地种上不同的庄稼，这就好 比给随机场的每个“位置”，赋予相空间里不同的值。

    二.数学描述

1.定义

马尔可夫链是随机变量X1,X2,X3...的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而Xn的值则是在时间n的状态。如果Xn + 1对于过去状态的条件概率分布仅是Xn的一个函数，则

 

这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。

2.性质

可还原性

马尔可夫链是由一个条件分布来表示的

 

这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质：

 

同样，

 

这些式子可以通过乘以转移概率并求k ? 1次积分来一般化到任意的将来时间n + k。

周期性

边际分布 P(Xn)是在时间为n时的状态的分布。初始分布为P(X0)。该过程的变化可以用以下的一个时间步幅来描述：

 

这是Frobenius-Perron equation的一个版本。这时可能存在一个或多个状态分布π满足

 

其中Y只是为了便于对变量积分的一个名义。这样的分布π被称作是“平稳分布”（Stationary Distribution）或者“稳态分布”（Steady-state Distribution）。一个平稳分布是一个对应于特征值为1的条件分布函数的特征方程。

平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。

重现性

各态历遍性

律动性

平稳状态分析和极限分布

可反转马尔可夫链

可反转马尔可夫链类似于应用贝叶斯定理来反转一个条件概率:

 

以上就是反转的马尔可夫链。因而，如果存在一个π，使得:

 

那么这个马尔可夫链就是可反转的。

这个条件也被称为细致平衡 (detailed balance)条件。

对于所有的i求和:

 

所以，对于可反转马尔可夫链，π总是一个平稳分布。

有限状态空间中的马尔可夫链

如果状态空间是有限的，则转移概率分布可以表示为一个具有(i,j)元素的矩阵，称之为“转移矩阵”：

 

对于一个离散状态空间，k步转移概率的积分即为求和，可以对转移矩阵求k次幂来求得。就是说，如果是一步转移矩阵，就是k步转移后的转移矩阵。

平稳分布是一个满足以下方程的向量

.

 

在此情况下，稳态分布π * 是一个对应于特征根为1的、该转移矩阵的特征向量。

如果转移矩阵不可约，并且是非周期的，则收敛到一个每一列都是不同的平稳分布 π * ，并且，

,

 

独立于初始分布π。这是由Perron-Frobenius theorem所指出的。

正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个随机矩阵，当且仅当这是某个马尔可夫链中转移概率的矩阵。

注意：在上面的定式化中，元素(i,j)是由j转移到i的概率。有时候一个由元素(i,j)给出的等价的定式化等于由i转移到j的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另外，一个系统的平稳分布是由该转移矩阵的左特征向量给出的，而不是右特征向量。

转移概率独立于过去的特殊况为熟知的Bernoulli scheme。仅有两个可能状态的Bernoulli scheme被熟知为伯努利过程

3.科学应用

物理

马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算术编码（著名的LZMA数据压缩算法就使用了马尔可夫链与类似于算术编码的区间编码）。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。

马尔可夫链最近的应用是在地理统计学（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学（Kriging geostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。

因特网应用

马尔可夫模仿文本生成器

马尔可夫过程，能为给定样品文本，生成粗略，但看似真实的文本：他们被用于众多供消遣的“模仿生成器”软件。马尔可夫链还被用于谱曲。