NNPR-Chap10 贝叶斯技术（2）模型输出的分布

在贝叶斯框架中，一个完成训练的神经网络是通过其权重的后验概率来表达的。当给网络一个输入数据时，权重分布产生网络输出的分布。同时，对输为的所做的高斯噪声假定也会影响网络输出的分布。这里，通过前面介绍的单高斯近似来计算输出的分布。

输出的分布为


要计算上面的分布，需要利用两个东东：


从而得到输出的分布为：



（1）

进一步假设此后验概率分布足够窄（由矩阵A决定），这样就可以通过在

进行线性扩展来近似

，得到：



，

（2）

这样，就可将式（1）写成



，

（3）

上式积分的结果恰恰是高斯分布：



（4）

从而得到输出的均值为

，方差为

（5）：

通过对式（4）的分析，可以洞察到以下东西：



到此，越发佩服贝叶斯技术了吧，它不仅给出一个最佳的预测输出，同时给出输出的误差条。实践中，可以利用两步来计算此误差条：

1.贝叶斯回归案例

考虑一个单输入－单输出的例子：


利用前面介绍的误差条计算方法可以生成如下图形，其中实线为权重

对应网络的输出，虚线为

（利用式5计算）误差。

注意：输入空间中数据密度低的地方，误差条较宽



图3

2.广义线性网络

对于单层网络，当输出单元是线性时，网络映射是权重的线性函数。这样的模型可表达为



当输出采用高斯噪声模型，权重采用高斯先验时，总误差函数为



网络输出为（未近似）



赫森矩阵通过外积表示为



网络输出分布的表达高斯积分形式