马尔科夫随机场

来源：互联网发布：上海网络教育本科编辑：程序博客网时间：2024/06/05 04:13

马尔可夫链模型概述

　　马尔可夫链因安德烈·马尔可夫（Andrey Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。

　　时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简记为 ${X_n=X(n),n=0,1,2,\cdots}$ 。

　　马尔可夫链是随机变量 $X_1,X_2,X_3\cdots$ 的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而Xn的值则是在时间n的状态。如果Xn + 1对于过去状态的条件概率分布仅是Xn的一个函数，则

　　 $P(X_{n+1}=x|X_0,X_1,X_2,\cdots,X_n)=P(X_{n+1}=x|X_n)$

　　这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。

　　马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。

　　马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。

　　马尔可夫链是满足下面两个假设的一种随机过程：

　　1、t+l时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关；

　　2、从t时刻到t+l时刻的状态转移与t的值无关。一个马尔可夫链模型可表示为=(S，P，Q)，其中各元的含义如下：

　　1）S是系统所有可能的状态所组成的非空的状态集，有时也称之为系统的状态空间，它可以是有限的、可列的集合或任意非空集。本文中假定S是可数集(即有限或可列)。用小写字母i,j(或 $S i, S j$ )等来表示状态。

　　2） $P=[P_{ij}]_{n\times n}$ 是系统的状态转移概率矩阵，其中 $P ij$ 表示系统在时刻t处于状态i，在下一时刻t+l处于状态i的概率，N是系统所有可能的状态的个数。对于任意i∈s，有 $\sum_{j=1}^NP_{ij}=l$ 。

　　3） $Q=[q_1,q_2\cdots q_n]$ 是系统的初始概率分布， $q i$ 是系统在初始时刻处于状态i的概率，满足 $\sum_{i=1}^Nq_i=1$ 。

[编辑]

马尔可夫链模型的性质

　　马尔可夫链是由一个条件分布来表示的

　　 $P (X n + 1 | X n)$

　　这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质：

　　 $P(X_{n+2}|X_n) = \int P(X_{n+2},X_{n+1}|X_n)dX_{n+1} = \int P(X_{n+2}|X_{n+1})P(X_{n+1}|X_n)dX_{n+1}$

　　同样：

　　 $P(X_{n+3}|X_n) = \int P(X_{n+3}|X_{n+2}) \int P(X_{n+2}|X_{n+1})P(X_{n+1}|X_n)dX_{n+1}dX_{n+2}$

　　这些式子可以通过乘以转移概率并求k−1次积分来一般化到任意的将来时间n+k。

　　边际分布 $P (X n)$ 是在时间为n时的状态的分布。初始分布为 $P (X 0)$ 。该过程的变化可以用以下的一个时间步幅来描述：

　　 $P(X_{n+1}) = \int P(X_{n+1}|X_n)P(X_n)dX_n$

　　这是Frobenius-Perron equation的一个版本。这时可能存在一个或多个状态分布π满足：

　　 $\pi(X) = \int P(X|Y)\pi(Y)dY$

　　其中Y只是为了便于对变量积分的一个名义。这样的分布π被称作是“平稳分布”（Stationary Distribution）或者“稳态分布”（Steady-state Distribution）。一个平稳分布是一个对应于特征根为1的条件分布函数的特征方程。

　　平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。

马尔可夫随机场简介

马尔可夫一般是马尔可夫性质的简称。它指的是一个随机变量序列按时间先后关系依次排开的时候，第N+1时刻的分布特性，与N时刻以前的随机变量的取值无关。拿天气来打个比方。如果我们假定天气是马尔可夫的，其意思就是我们假设今天的天气仅仅与昨天的天气存在概率上的关联，而与前天及前天以前的天气没有关系。其它如传染病和谣言的传播规律，就是马尔可夫的。

随机场包含两个要素：位置（site），相空间（phase space）。当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。我们不妨拿种地来打个比方。“位置”好比是一亩亩农田；“相空间”好比是种的各种庄稼。我们可以给不同的地种上不同的庄稼，这就好比给随机场的每个“位置”，赋予相空间里不同的值。所以，俗气点说，随机场就是在哪块地里种什么庄稼的事情。

1 0