条件随机场(CRF) - 3 - 概率计算问题

声明：

         1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结，不得用作商用，欢迎转载，但请注明出处（即：本帖地址）。

         2，由于本人在学习初始时有很多数学知识都已忘记，所以为了弄懂其中的内容查阅了很多资料，所以里面应该会有引用其他帖子的小部分内容，如果原作者看到可以私信我，我会将您的帖子的地址付到下面。

         3，如果有内容错误或不准确欢迎大家指正。

         4，如果能帮到你，那真是太好了。

 

         在之前的介绍中我们已近知道，条件随机场的概率计算问题是给定条件随机场P(Y|X)，输入序列x和输出序列y，计算条件概率P(Y_i=y_i | x)，P(Y_i-1 =y_i-1, Y_i=y_i | x)以及相应数学期望的问题。

         为了方便起见，像隐马尔可夫模型那样，引进前向-后向向量，递归的计算以上概率及期望值。这样的算法称为前向-后向算法。

         PS：前向-后向算法的详细讲解在我的“隐马尔可夫模型(HMM) - 2 - 概率计算方法”中已经做了总结，这里就不再详细说明了。

前向-后向算法

         对每个指标i =0,1,...,n+1，定义前向向量a_i(x)：

                  

         递推公式为

                  

         又可表示为

                  

         a_i(y_i|x)表示在位置i的标记是y_i并且到位置i的前部分标记序列的非规范化概率，若y_i可取的值有m个，那a_i(x)就是m维的列向量。

         同样，对每个指标i =0,1,...,n+1，定义后向向量β_i(x)：

                  

         又可表示为

                  

         β_i(y_i|x)表示在位置i的标记为y_i并且从i+1到n的后部分标记序列的非规范化的概率。

         由前向-后向定义不难得到：

                  

         这里，若a_i(x)是m维的列向量，那1就是元素均为1的m维列向量。

 概率计算

         按照前向-后向向量的定义，很容易计算标记序列在位置i是标记yi的条件概率和在位置i-1与i是标记y_i-1和y_i的条件概率：

                  

         其中，

                   Z(x)= a_n^T(x)·1

 期望值计算

         利用前向-后向向量，可以计算特征函数关于联合分布P(X, Y)和条件分布P(Y | X)的数学期望。

         特征函数f_k关于条件分布P(Y |X)的数学期望是

                  

         其中，

                   Z(x)= a_n^T(x)·1

 

         假设经验分布为

                  

         则特征函数f_k关于联合分布P(X, Y)的数学期望是

                  

         其中，

                   Z(x)= a_n^T(x)·1

 

         式11.23和式11.35是特征函数数学期望的一般计算公式。对于转移贴纸t_k(y_i-1, y_i, x, i)，k=1,2,...,K₁，可以将式中的f_k换成t_k；对于状态特征，可以将式中的f_k换成s_i，表示s_l(y_i, x, i)，k = K₁ +1，l = 1,2,...,K₂。

         有了式11.32 ~11.35，对于给定的观测序列x和标记序列y，可以通过一次前向扫描计算a_i及Z(x)，通过一次后向扫描计算βi，从而计算所有的概率和特征的期望。