机器学习笔记——相对熵　交叉熵

相对熵relative entropy

又称为KL散度(Kullback-Leibler divergence)　交互熵　互熵

设 p(x).q(x)是X中取值的两个概率分布，则 p对 q的相对熵是：

D(p,q)=∑xϵXp(x)logp(x)q(x)=Ep(x)logp(x)q(x)

相对熵可以度量两个随机变量的＇距离＇

一般情况下， D(p,q)≠D(q,p) 　 ＜非对称的距离＞

且 D(p,q)≥0

D(q,p)≥0

交叉熵cross entropy

交叉熵主要用于度量两个概率分布间的差异性信息．

交叉熵:

CEH(p,q)=Ep[−logq]=−∑xϵXp(x)logq(x)=H(p)+DKL(p||q)

当p已知时，可以把H(p)看作一个常数，此时交叉熵与KL距离在行为上是等价的，都是反映了分布p q的相似程度．最小化交叉熵等于最小化KL距离．它们都在p=q时取得最小值．

p=q时 　 CEH(p,q)=H(p)　 DKL(p||q)=0

互信息

两个随机变量X. Y的互信息，定义为X. Y的联合分布和独立分布乘积的相对熵：

I(X,Y)=D(P(X,Y)||P(X)P(Y))

I(X,Y)=∑x,yp(x,y)logp(x,y)p(x)p(y)