马尔科夫过程

1. 全概率公式

用途说明：对复杂事件A的概率求解简化为各情况下发生简单事件的概率之和
定义：完备事件组B1、B2、B3…….Bn，事件相互独立，且任意P(Bi)>0，则事件A发生的概率：
P(A) = P(A|B1)P(B1) + P(A|B2)P(B2) + … + P(A|Bn)P(Bn)
or
p(A)=P(AB1)+P(AB2)+…+P(ABn)).(其中A与Bn的关系为交)

2. 马尔科夫过程

• 定义：马尔科夫链是一种随机事件序列，未来的取值只与当前取值有关，与历史取值无关，是一种离散型的随机过程。

• 状态变量表示：
  时刻 t 的状态 i ： Xt = i ( i = 1,2,3……N，t = 1,2,3……N)

• 状态转移概率：
  a. 状态集：E1，E2 ……En
  状态随机且相互独立，每个时刻只能处于一种状态，每个状态都具有 n 个转向
  b. 状态 i 到状态 j 的转移概率表示：
  Pij = P(Ej|Ei) = P(Ei->Ej) = P(Xn+1=j|Xn=i)
  c. 条件概率就是状态转移概率
  P(A|B)： 由状态 B 向状态 A 转移的概率
  d. 状态转移概率矩阵
  
  
  

• 多步状态转移概率矩阵

• a. 定义：t0 时刻的状态 i 经过n步转移到t1时刻的状态j，记作

  

  b.多步状态转移概率矩阵

  

  

• 初始状态概率向量
  定义 t0 为状态开始时刻， Pi(0) = {(X0 = X(t0) = i)} 为 t0 时刻的状态概率，
  则 P(0) = (p1(0)，p2(0)，p3(0)……pN(0))
  即：P(K) = (p1(K)，p2(K)，p3(K)……pN(K))

• 平稳分布
  a. 定义：设 X=(x1，x2， …，xN) 为一状态概率向量， P为状态转移概率矩阵，若 X P = X，即
  
  则称X是该马尔科夫链的平稳分布。
  b. 有穷状态的马尔科夫链一定存在平稳分布，且过程中某时刻的状态概率向量 P(k) 为平稳分布，则过程处于平衡状态，过程一旦达到平衡状态，将永久保持。
  c. 正规概率矩阵：设 P 为概率矩阵，且存在 m>0，使 P的m步转移矩阵中诸元素皆非负非零。则称 P 为正规概率矩阵。

• 稳态分布
  a. 定义：经过n步状态转移，最后形成的概率向量始终不变，则该向量为稳态分布，且此时与初始状态概率向量无关。
  b. 存在稳态分布的马尔科夫链一定是平稳分布，且状态转移概率矩阵式正规概率矩阵的马尔科夫链，一定存在稳态分布和平稳分布，且稳态分布与平稳分布相同且唯一。