概率图模型-原理与技术 第三章 贝叶斯网表示 学习笔记(二)

概率图模型-原理与技术 第三章 贝叶斯网表示 学习笔记(二)

概率图模型-原理与技术 总目录

http://blog.csdn.net/icefire_tyh/article/details/54026071#t3

3.图中的独立性

3.1 d-分离

有效迹



对于上图a,b,c，当节点Z已知时候，节点X与Y条件独立。

对于d,当节点Z未知时候，节点X与Y独立。

由此可以定义有效迹：

　　对于一条迹X⇌Z⇌Y，如果影响[非独立性]可以经过Z从X流向Y，那么称这条迹是有效的。

对于图a,b,c：当Z未知时迹有效

对于图d：当Z或者Z的一个后代已知时迹有效[特别的，对于d中的结构，称为v结构]

d-分离：

　　假设X,Y,Z是图G上的节点集合，如果给定Z，假设任何节点x∈X与y∈Y之间不存在有效迹，那么称X,Y在给定Z时是d−分离的。

d−分离的可靠性与完备性

如果将d−分离看作是确定独立性的一种方法，那么需要保证该方法的两点性质：

　　可靠性：给定某个Z时，找到两个节点X,Y是d−分离的，那么可以保证，在给定Z时他们是条件独立的。

　　完备性：d−分离可以检测出所有的完备性。

　　完备性在这里存在一些疑问，d−分离是作用在图结构上的，而图所蕴含的独立性I(G)⊆I(P)，那么显然d−分离无法描述分布的所有独立性。

　　然而分布中没有被检测出的独立性是偶然发生的，也就是说，如果所有满足图G独立性[能在G上因子分解]的分布P均匀分布，那么有额外独立性的分布所占比例也趋近于0(测度为0)。

d−分离算法

　　通过上面的描述知道d−分离可以较为准确的描述能在G上因子分解的分布P的独立性，那么如果确定一个图的d−分离就十分关键了。

[具体算法参考习题3.14]

3.2 I−等价

　　单纯地从图蕴含的独立性来看，不同的贝叶斯网络实际上是可以等价的，因为他们蕴含了完全相同的独立性断言。比如上图的a,b,c三个结构，都蕴含了独立性假设(X⊥Y|Z)，那么如果两幅图G1,G2,如果它们蕴含了相同的独立性断言，则称它们是I−等价的

骨架

　　将图G中所有的有向边改成无向边，那么称这个无向图G’是G的骨架。

　　定义：具有相同骨架和v结构的两幅图，称他们是I−等价的。然而这样的说法并不完全，因为有些没有相同骨架的图也是I−等价的，比如书上说的完全图，他们都没有蕴含任何独立性假设，所以他们是I−等价的。

　　非正则结构：对一个v结构x→z←y，如果x,y不存在边，则称之为非正则结构。

　　更好的定义： 具有相同骨架和非正则结构的两幅图，称他们是I−等价的。

[具体算法参考习题3.16，3.17]

4.从分布到图

本节主要考虑，如果给出一个分布P，能否构建出一个能描述P中独立性的图G?

[虽然这一点并不是太现实，由于多维的联合概率分布太过庞大，无论存储计算都是问题]

4.1 最小I−map

最小I−map

　　如果仅仅用分布P的I−map来描述P的独立性，那么可以使用一个完全图，因为它是任何分布的I−map。然而这样的描述没有意义，它没有包含任何独立性。

　　那么定义最小I−map：如果图G是分布P的I−map，如果再去掉任何一条边，图G不再是分布P的I−map，那么称G是P的最小I−map。

　　[显然对于一幅图，边越少独立性就越强]

　　错误的观点：简单看上去最小I−map似乎能描述P的所有独立性，然而这个观点是错误的，它依然只能描述分布P部分独立性。



　　如上图所示，通过不同节点顺序会导出不同的最小I−map，而这些最小I−map描述了不同的独立性。

4.2 P−map

P−map

定义：对于分布P，如果图G的独立性集合I(G)=I(P)，则称G是P的一个P−map。

P−map描述了分布P完整的独立性集合，那么需要考虑的是：

　　1：是否每个分布都有P−map[并不成立]

　　2：分布存在P−map，如何找出它的P−map

　　

发现P−map

　　从上面I−等价的概念可以看出，同一个分布的P−map也可能会有不同的结构，也就是说同一个分布的P−map可能有多个，但是它们全部是I−等价的。

　　如何识别一个存在P−map的分布的P−map：

　　1.识别无向的骨架

　　 　　根据I−等价的定义，可以先识别出满足分布独立性集合的无向图

　　2.识别非正规结构

　　 　　然后识别出非正规结构，为部分无向边赋予方向

　　3.为剩下的无向边赋予方向　

　　 　　由于要生产有向图，所以要将所有无向边赋予方向，同时要保证不能产生新的非正规结构和圈。

　[具体算法参考习题3.19-3.24]