《机器学习》读书笔记 7 第5章 神经网络 二

3 误差逆传播算法

误差逆传播算法（BP算法）

通常说“BP网络”时，一般是指用BP算法训练的多层前馈神经网络

BP算法的工作流程：对每个训练样例，BP算法执行以下操作：先将输入示例提供给输入神经元，然后逐层将信号前传，直到产生输出层的结果；然后计算输出层的误差，再将误差逆向传播至隐层神经元，最后根据隐层神经元的误差来对连接权和阈值进行调整。该迭代过程循环进行，直到达到某些停止条件为止。

BP算法求解过程 用到 梯度下降、链式法则、对数几率函数的性质。

累积误差逆传播算法

是基于累积误差最小化的原则，在读取整个训练集D一遍后再进行参数更新。

BP算法过拟合的解决策略

只需一个包含足够多神经元的隐层，多层前馈神经网络可以以任意精度逼近任意复杂度的连续函数。

神经元个数目前靠试错法调整。

缓解过拟合策略有两个：

早停：训练集合误差降低但测试集误差升高则停止训练。

正则化：误差目标函数增加一个用于描述网络复杂度的部分。引入正则化后，与SVM非常相似。

4 全局最小 与 局部最小

神经网络的训练过程，可以看做是参数寻优的过程，也是找全局最小的过程。

梯度下降法，会在局部最小时更新量为零，意味着训练终止。

避免局部最小，而非全局最小的策略：

1.以多组参数 初始化多个神经网络，训练后取其中误差最小的做为最终参数。

2.模拟退火：每一步都以一定概率接受比当前解更差的结果。从而有助于跳出局部最小。

3.使用随机梯度下降。

4.遗传算法

5 其他神经网络

RBF网络

RBF(径向基函数)是一种单隐层前馈神经网络，隐层激活函数采用径向基函数，而输出层则是对隐层的线性组合。

ART网络

竞争性学习 是神经网络中常用的无监督学习策略。在使用该策略时，网络输出神经元相互竞争，每一时刻仅有一个竞争获胜的神经元被激活，其他神经元的状态被抑制。这种机制也称 胜者通吃。

ART(自适应谐振理论)网络是竞争性学习的重要代表。

ART较好的缓解了竞争性学习中的“可塑性-稳定性窘境”。可进行增量学习或在线学习。

ART2网络、FuzzyART网络、ARTMAP网络

SOM网络

SOM(自组织映射)网络是一种竞争学习型的无监督神经网络。能将高维输入数据映射到低维空间，同时保持输入数据在高维空间的拓扑结构，即将高维空间中相似的样本点映射到输出层的邻近神经元。

级联相关网络

级联相关网络是结构自适应网络的代表。

级联：是指建立层次连接的层级结构。

相关：是指通过最大化神经元的输出与网络误差之间的相关性来训练相关参数。

级联相关网络无需设置网络层数、隐层神经元数目，且训练速度快，但在数据较小时容易过拟合。

Elman网络

递归神经网络允许网络中出现环形结构。Elman网络是代表。

Elman网络隐层神经元采用Sigmoid函数，训练采用推广的BP算法。

Boltzmann机

有一类神经网络，为网络状态定义一个能量，能量最小化时网络达到理想状态，训练就是最小化能量函数。

Boltzmann机是一种基于能量的模型。

标准Boltzmann机是一个全连接图，训练复杂度高。常用受限Boltzmann机，用对比散度（CD）算法训练。

6 深度学习

深度学习

典型的深度学习，就是很深层的神经网络。增加隐层数目或增加隐层的神经元数目。

从增加模型复杂度来看，增加隐层数目更有效：因为不仅增加了神经元数目，也增加了激活函数的嵌套层数。

深度学习的训练

无监督逐层训练是有效的训练手段，基本思想是每次训练一个隐层，称为预训练。预训练完后，对整个网络微调。例如深度信念网络（DBN）。

另一种节省训练开销的办法是权共享，即让一组神经元使用一个连接权。例如卷积神经网络（CNN）