平均互信息
2016-04-13 14:41
274 查看
集合和事件之间的互信息 定义:
平均互信息:定义
平均互信息I(X;Y)其实就是前面提到的互信息I(x;y)在两个概率空间X和Y中求统计平均的结果,它是从整体上表示一个随机变量Y所给出的关于另一个随机变量X的信息量。
平均互信息与熵之间的关系:
物理意义:在通信系统中,H(X)代表接收到输出符号以前关于输入变量X的不确定性。而H(Y|X)代表接收到输出符号后关于输入变量X的平均不确定性。二者之差表示接收端所获得的信息量,即平均互信息。 可见,通过信道传输消除了一些不确定性,获得了一定的信息,而平均互信息就代表接收到输出符号之后平均每个符号获得的关于输入端X的信息量。
平均互信息的性质
1.非负性 2、互易性
平均互信息的非负性告诉我们,从整体和平均意义上来说,一个随机变量集合提供的关于另一个随机变量集合的信息量不会是负值,最差的情况是0.
平均互信息:定义
平均互信息I(X;Y)其实就是前面提到的互信息I(x;y)在两个概率空间X和Y中求统计平均的结果,它是从整体上表示一个随机变量Y所给出的关于另一个随机变量X的信息量。
平均互信息与熵之间的关系:
物理意义:在通信系统中,H(X)代表接收到输出符号以前关于输入变量X的不确定性。而H(Y|X)代表接收到输出符号后关于输入变量X的平均不确定性。二者之差表示接收端所获得的信息量,即平均互信息。 可见,通过信道传输消除了一些不确定性,获得了一定的信息,而平均互信息就代表接收到输出符号之后平均每个符号获得的关于输入端X的信息量。
平均互信息的性质
1.非负性 2、互易性
平均互信息的非负性告诉我们,从整体和平均意义上来说,一个随机变量集合提供的关于另一个随机变量集合的信息量不会是负值,最差的情况是0.
相关文章推荐
- iOS:插件制作入门
- nanomsg的pub/sub模式用法
- 多线程执行任务等待所有任务执行完毕
- 数学建模之预测模型总结
- Maven修改全局和局部JDK版本
- mysql中如何分配存储过程的权限
- lightoj 1008 - Fibsieve`s Fantabulous Birthday 乱搞
- IE6-9不支持Textarea的maxlength属性
- C#多线程开发
- LeetCode 189. Rotate Array
- Android Gradle基础实践
- 使用 Docker 搭建 JavaWeb环境(Tomcat,jdk)
- 08-mac ssh的一些命令
- ViewPage轮播
- 创建em
- svn command
- IIS中使用ASP.NET MVC的经验总结
- dijkstra算法--求两点之的最短路径
- dijkstra算法--求两点之的最短路径
- mysql5.6,基于GTID的主从同步与延迟复制