信息论的相关基本概念
2018-01-12 20:20
302 查看
此篇博客为对赵悦著的《概率图模型学习理论及其应用》学习笔记。
1.熵
熵是对随机变量的不确定性的度量,随机变量X的熵越大,说明它的不确定性也就越大。
2.联合熵、条件熵、互信息
联合熵:借助联合概率分布对熵的自然推广。
条件熵:借助条件概率分布对熵的延伸。
条件熵H(X|Y=y)度量的是已知Y=y后,X的不确定性。
链规则:H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)
互信息:在观测到Y之前,X的不确定性是H(X),通过观测Y,期望X的不确定性会变为H(X|Y),那么I(X;Y)=H(X)-H(X|Y)就是对Y包含多少X的信息的一个度量,称为Y关于X的信息。可以证明,I(X;Y)=I(Y;X),因此它又称为X和Y之间的互信息。
条件互信息:I(X;Y|Z)=H(X|Z)-H(X|Z,Y)称为给定Z时,Y关于X的信息。易证I(X;Y|Z)=I(Y;X|Z),于是I(X;Y|Z)也称为给定Z时,X和Y之间的条件互信息。
1.熵
熵是对随机变量的不确定性的度量,随机变量X的熵越大,说明它的不确定性也就越大。
2.联合熵、条件熵、互信息
联合熵:借助联合概率分布对熵的自然推广。
条件熵:借助条件概率分布对熵的延伸。
条件熵H(X|Y=y)度量的是已知Y=y后,X的不确定性。
链规则:H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)
互信息:在观测到Y之前,X的不确定性是H(X),通过观测Y,期望X的不确定性会变为H(X|Y),那么I(X;Y)=H(X)-H(X|Y)就是对Y包含多少X的信息的一个度量,称为Y关于X的信息。可以证明,I(X;Y)=I(Y;X),因此它又称为X和Y之间的互信息。
条件互信息:I(X;Y|Z)=H(X|Z)-H(X|Z,Y)称为给定Z时,Y关于X的信息。易证I(X;Y|Z)=I(Y;X|Z),于是I(X;Y|Z)也称为给定Z时,X和Y之间的条件互信息。
相关文章推荐
- windows游戏编程<五>X86 (内存)寄存器相关的基本概念
- 研发管理08:敏捷 Scrum 相关基本概念
- 概率论的相关基本概念
- 与类相关基本概念----Beginning Visual C#
- Java容器学习笔记(一) 容器中基本概念及Collection接口相关知识
- 图像相关内容的基本概念--存储、RGB、灰度图
- Swift语言中字符串相关的基本概念解析
- Spring学习篇01-Spring容器相关基本概念
- Linux下静态库_库的基本概念;如何生成静态库动态库;nm查看库中包含那些函数、ar生成静态库,查看库中包含那些.o文件、ldd查看程序依赖的.so文件;gcc/g++与库相关的参数-L,-l,-f
- 栈和队列数据结构的基本概念及其相关的Python实现
- 第五章 STL 基本概念、相关函数使用总结
- OpenGL纹理贴图相关基本概念
- HTML在线编辑器的基本概念与相关资料第1/2页
- 基本计算机相关概念
- 数据库相关的一些基本概念
- Redis(三) 概念,基本数据类型及其安装相关
- 漫漫运维路——进程基本概念及管理相关工具介绍
- JVM相关的几个基本概念
- 分布式相关(基本概念/名词解释)
- React的相关基本概念