nlp-形式语言与自动机-ch06-概率图模型

1、图模型的树形结构分类：



a）动态贝叶斯网络（DBN）：用于处理随时间变化的动态系统中的推断和预测问题。

其中因马尔科夫模型（HMM）在语音识别、汉语自动粉刺与词性标注和统计机器防疫等若干语音语言处理任务中得到了广泛应用。

卡尔曼滤波器则在信号处理领域有广泛的用途。

b）马尔科夫网络又称马尔科夫随机场。

马尔科夫网络下的条件随机场（CRF）广泛应用于自然语言处理中的序列标注、特征选择、机器翻译等任务。

玻尔兹曼机近年来被用于依存句法分析和语义角色标注等。

2、从纵横两个维度诠释自然语言处理中概率图模型的演变过程：



3、生成模型的介绍：





4、判别模型的介绍：



//2017/4/5

1、构造贝叶斯网络是一项复杂的任务，涉及表示、推断和学习三个方面的问题。

a）表示：在某一随机变量的集合x={X(1),L,X(n)}上给出其联合概率分布P。

b）推荐：由于贝叶斯网络是变量及其关系的完整模型，因此可以回答关于变量的询问，如当观察到某些变量（证据变量）时，推断另一些变量子集的变化。

另：在已知某些证据的情况下计算变量的后验分布的过程称作概率推理。

常用的精确推理方法包括变量消除法和团树法。

变量消除法的基本任务是计算条件概率。

团树法使用更全局化的数据结构调度各种操作，以获得更加有益的计算代价。

常用的近似推理算法有：重要性抽样方法、随机马尔科夫链蒙特卡罗模拟法、循环信念传播法和泛化信念传播法等。

c）学习：参数学习的目的是决定变量之间的相互关联的量化关系，即依存强度估计。

另：常用的参数学习方法包括最大似然估计法、最大后验概率法、期望最大化方法和贝叶斯估计方法，并且在贝叶斯模型中使用较多的是贝叶斯估计法。

2、贝叶斯网络的特点及应用：



3、马尔科夫模型：

马尔科夫模型可以看做是一个转移弧上有概率的非确定的有限状态自动机：



4、隐马尔科夫模型：

可视马尔科夫模型：每个状态代表了一个可观察的事件，在某种程度上限制了模型的适应性。

隐马尔科夫模型：不知道模型所经过的状态序列，只知道状态的概率函数，也就是说，观察到的事件是状态的随机函数，因此，该模型是一个双重的随机过程。其中，模型的状态转换过程是不可观察的，即隐蔽的，可观察事件的随机过程是隐蔽的状态转换过程的随机函数。

5、隐马尔科夫模型应用典型事件：

当考虑潜在事件随机地生成表面事件时，HMM是非常有用的。

//2017/4/6

1、