您的位置：首页 > 其它

Mitchell机器学习-决策树学习中信息论的相关知识

2013-03-21 21:17 274 查看

1. 信道模型

$(\textrm{information source})U = \{ u_1, u_2 \} \rightarrow \textrm{information channel} \rightarrow V = \{v_1, v_2 \} (\textrm{information home})$

转移概率矩阵
$P(V|U)$

2. 信息熵

信源

$U, P: U = \{u_1, u_2, \cdots, u_n \}, P = \{P(u_1), P(u_2), \cdots, P(u_n)\}$

自信息

$I(u_i) = \log \left( 1 / P(u_i) \right ) = -\log P(u_i) \qquad i = 1, 2, \cdots, n$

表示
$u_i$
出现的不确定性。

信息熵

$H(U) = \sum_i P(u_i)I(u_i) = \sum_i P(u_i) \log P(u_i) \quad i = 1, 2, \cdots, n$

自信息的数学期望，即
$U$
出现的平均不确定性，又叫先验熵。

$H(U) = 0$
：对某个
$u_i$
有
$P(u_i) = 1$
（
$I(u_i) = \log (1/P(u_i)) = 0$
），信源只发出符号
$u_i$
，不存在不确定性（令
$\log (1/0) = 0$
）

$P(u_1) = P(u_2) = \cdots = P(u_n) = 1/n$

$H(U) = \sum_i P(u_i)I(u_i) = \sum_i 1/n \log n = \log n$

$P(u_i)$
相互接近，
$H(U)$
越大，反之则越小。

3. 信息增益

后验熵

信宿收到
$v_j$
后，信源发送
$u_i$
的概率

$P(u_i|v_j) = \frac{P(v_j|u_i)P(u_i)}{P(v_j)} = \frac{P(v_j|u_i)P(u_i)}{\sum_k P(v_j|u_k)P(u_k)} \quad k = 1, 2, \cdots, m$

这时信源发送
$u_i$
的不确定性为：
$\log(1/ P(u_i|v_j))$

后验熵为：

$H(U|v_j) = \sum_i P(u_i|v_j) I(u_i|v_j) = \sum_i P(u_i|v_j) \log (1/(u_i|v_j)) = - \sum_i P(u_i|v_j) \log P(u_i|v_j)$

表示在收到
$v_j$
时，信源发出的各种信号的平均不确定性。

条件熵

$H(U|V) = \sum_j P(v_j) \sum_i P(u_i|v_j) \log(1/P(u_i|v_j)) \quad (i = 1, \cdots, n; j = 1, \cdots, m)$

表示在收到
$V$
的条件下，信源发出的信号集的平均不确定性，又称信道疑义度。

若对每一个
$v_j$
，可以确定输入端的一个符号
$u_i$
，即
$P(u_i|v_j) = 1$
，这时对其他任一个
$u_k$
有
$P(u_k|v_j) = 0$
，则
$H(U|V) = 0$
，此时，不确定性完全消除。

信息增益

$I(U,V) = H(U) - H(U|V)$

表示在收到
$V$
后，关于
$U$
的信息量的增加了、减少了的不确定性。

4. 总结

自信息

$I(u_i) = \log \left( 1 / P(u_i) \right ) = -\log P(u_i) \qquad i = 1, 2, \cdots, n$

互信息

$I(u_i|v_j) = \log (1/P(u_i|v_j)) = - \log P(u_i|v_j)$

先验熵（平均自信息）
$H(U)$

后验熵（平均互信息）
$H(U|V)$

信息增益
$I(U,V)$

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航