随机过程_马尔科夫过程_马尔科夫链

一、什么是随机过程（摘自维基百科）

在概率论概念中，随机过程是随机变量的集合。若一随机系统的样本点是随机函数，则称此函数为样本函数，这一随机系统全部样本函数的集合是一个随机过程。实际应用中，样本函数的一般定义在时间域或者空间域。随机过程的实例如股票和汇率的波动、语音信号、视频信号、体温的变化，随机运动如布朗运动、随机徘徊等等。

设为一概率空间，另设集合T为一指标集合。如果对于所有，均有一随机变量定义于概率空间，则集合为一随机过程。

通常，指标集合T代表时间，以实数或整数表示。以实数形式表示时，随机过程称为连续随机过程；以整数表示时，则为离散随机过程。随机过程中的参数只为分辨同类随机过程中的不同实例，如上文下理不构成误会，通常略去。例如表达单次元布朗运动时，常以表达，但若考虑两同时进行布朗运动的粒子，则会分别以和（或作和）表示。

二、什么是马尔科夫过程及马尔科夫链（摘自智库百科）

1、马尔可夫性(无后效性)

　　过程或（系统）在时刻t₀所处的状态为已知的条件下，过程在时刻t >t₀所处状态的条件分布，与过程在时刻t₀之前年处的状态无关的特性称为马尔可夫性或无后效性。

　　即：过程“将来”的情况与“过去”的情况是无关的。

　　2、马尔可夫过程的定义

　　具有马尔可夫性的随机过程称为马尔可夫过程。

　　用分布函数表述马尔可夫过程：

　　设I：随机过程{X(t),t\in T}的状态空间，如果对时间t的任意n个数值:

　　（注：X(t_n)在条件X(t_i) = x_i下的条件分布函数）

　　(注：X(t_n))在条件X(t_{n − 1}) = x_{n − 1}下的条件分布函数）

　　或写成：

　　

　　

　　这时称过程具马尔可夫性或无后性，并称此过程为马尔可夫过程。

　　3、马尔可夫链的定义

　　时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简记为。 

    一个马尔可夫链，若从u时刻处于状态i，转移到t＋u时刻处于状态j的转移概率与转移的起始时间u无关，则称之为齐次马尔可夫链，简称齐次马氏链。