HMM的学习笔记1：前向算法

HMM的学习笔记

 

HMM是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测的随机过程。

HMM由两个状态和三个集合构成。他们分别是观测状态序列，隐藏状态序列，转移概率，初始概率和混淆矩阵（观察值概率矩阵）。

HMM的三个假设：

1、有限历史性假设，p(si|si-1,si-2,...,s1) = p(si|si-1)

2、齐次性假设，（状态与具体时间无关），P(si+1|si)=p(sj+1,sj)

3、输出独立性假设，输出仅与当前状态有关，P(o1,...ot|s1,...st) = P(ot|qt)

 

HMM需要解决三个问题：

1：评估问题，也就是给定一个观测序列，求它的概率；

2：解码问题，通过维特比算法来做解码，求概率最大的隐藏概率；

3：学习问题，通过观测序列求参数；

 

现在针对第一个评估问题，通常我们采用前项算法来计算观测序列的概率；

为了解决这个时间复杂度比价高的问题，首先定义一个前向变量，便是从1到t，输出符号O序列，t时刻处于状态i的累计输出概率。

这里每一次的at（i），我们是通过at（ij-1）来计算的，这样避免了重复计算。

 状态转移概率矩阵

混淆概率矩阵

还有一个初始概率矩阵我们设为（1，0， 0）吧。

有了他们我们就可以计算at（i）。

 

 

这个过程说白了就是从某个点开始，几次计算到下一个点的概率，然后累加到下一个点上去。这里要注意的一点是初始的那个点计算，只是初始矩阵和混淆矩阵的运算（不涉及转移的过程）。

代码实现了一下前项算法：

和我们手工的计算一样

 

int get_index(char sz){if ( 'a' == sz){return 0;} else{return 1;}}void testa(){ifstream in_a("A.txt");double start[3] = {1, 0, 0};double A[3][3] = {0};double B[3][2] = {0};double C[3][4] = {0};char sz_array[] = "abab";int i, j, k;double (*p)[3];(p) = A;int row, col;in_a >> row >> col;for (i = 0; i < row; ++i){for (j = 0; j < col; ++j){in_a >> A[i][j];}}in_a >> row >> col;for (i = 0; i < row; ++i){for (j = 0; j < col; ++j){in_a >> B[i][j];}}in_a >> row >> col;for (i = 0; i < 3; ++i){for (j = 0; j < 4; ++j){in_a >> C[i][j];}}//// 初始化//for (i = 0; i < 3; ++i){C[i][0] = B[i][get_index(sz_array[0])] * start[i];}for (i = 1; i < 4; ++i){for (j = 0; j < 3; ++j){for (k = 0; k < 3; ++k){C[k][i] += C[j][i-1] * A[j][k] * B[k][get_index(sz_array[i])];}}}for (int m = 0; m < 3; ++m){for (int n = 0; n < 4; ++n){cout << C[m][n] << " ";}cout << endl;}in_a.close();}