隐马尔科夫学习五（二）

出处：http://www.52nlp.cn/hmm-learn-best-practices-five-forward-algorithm-2

五、前向算法（Forward Algorithm）

计算观察序列的概率（Finding the probability of an observed sequence）

2b.计算t=1时的局部概率

‘s

　　我们按如下公式计算局部概率：

　　

t ( j )= Pr( 观察状态 | 隐藏状态j ) x Pr(t时刻所有指向j状态的路径）

　　特别当t=1时，没有任何指向当前状态的路径。故t=1时位于当前状态的概率是初始概率，即Pr(state|t=1)=P(state)，因此，t=1时的局部概率等于当前状态的初始概率乘以相关的观察概率：

　　　　　　　　　


　　所以初始时刻状态j的局部概率依赖于此状态的初始概率及相应时刻我们所见的观察概率。

2c.计算t>1时的局部概率

‘s

　　我们再次回顾局部概率的计算公式如下：

　　

t ( j )= Pr( 观察状态 | 隐藏状态j ) x Pr(t时刻所有指向j状态的路径）

　　我们可以假设（递归地），乘号左边项“Pr( 观察状态 | 隐藏状态j )”已经有了，现在考虑其右边项“Pr(t时刻所有指向j状态的路径）”。

　　为了计算到达某个状态的所有路径的概率，我们可以计算到达此状态的每条路径的概率并对它们求和，例如：

　　　　　　


　　计算

所需要的路径数目随着观察序列的增加而指数级递增，但是t-1时刻

‘s给出了所有到达此状态的前一路径概率，因此，我们可以通过t-1时刻的局部概率定义t时刻的

‘s，即：

　　　　　


　　故我们所计算的这个概率等于相应的观察概率（亦即，t+1时在状态j所观察到的符号的概率）与该时刻到达此状态的概率总和——这来自于上一步每一个局部概率的计算结果与相应的状态转移概率乘积后再相加——的乘积。

　　注意我们已经有了一个仅利用t时刻局部概率计算t+1时刻局部概率的表达式。

　　现在我们就可以递归地计算给定隐马尔科夫模型(HMM)后一个观察序列的概率了——即通过t=1时刻的局部概率

‘s计算t=2时刻的

‘s，通过t=2时刻的

‘s计算t=3时刻的

‘s等等直到t=T。给定隐马尔科夫模型(HMM)的观察序列的概率就等于t=T时刻的局部概率之和。

2d.降低计算复杂度

　　我们可以比较通过穷举搜索（评估）和通过递归前向算法计算观察序列概率的时间复杂度。

　　我们有一个长度为T的观察序列O以及一个含有n个隐藏状态的隐马尔科夫模型l=(pi,A,B)。

　　穷举搜索将包括计算所有可能的序列：

　　　


　　公式

　　　　


　　对我们所观察到的概率求和——注意其复杂度与T成指数级关系。相反的，使用前向算法我们可以利用上一步计算的信息，相应地，其时间复杂度与T成线性关系。

注：穷举搜索的时间复杂度是2TN^T，前向算法的时间复杂度是N^2T，其中T指的是观察序列长度，N指的是隐藏状态数目。

3.总结

　　我们的目标是计算给定隐马尔科夫模型HMM下的观察序列的概率——Pr(observations |

)。

　　我们首先通过计算局部概率（

‘s）降低计算整个概率的复杂度，局部概率表示的是t时刻到达某个状态s的概率。

　　t=1时，可以利用初始概率(来自于P向量）和观察概率Pr(observation|state)（来自于混淆矩阵）计算局部概率；而t>1时的局部概率可以利用t-时的局部概率计算。

　　因此，这个问题是递归定义的，观察序列的概率就是通过依次计算t=1,2,…,T时的局部概率，并且对于t=T时所有局部概率

‘s相加得到的。

　　注意，用这种方式计算观察序列概率的时间复杂度远远小于计算所有序列的概率并对其相加（穷举搜索）的时间复杂度。