激活函数，目标函数，dropout弃权

激活函数：

为什么需要激活函数？

如果不用激活函数，每一层的输出都是上一层的线性组合，从而导致整个神经网络的输出为神经网络输入的线性组合，无法逼近任意函数。

目标函数：代价函数+正则化项

损失函数：计算一个样本的损失

代价函数: 整个训练集上所有样本误差的平均

dropout 弃权

dropout 不修改代价函数，而是修改网络本身。可以理解为训练多个神经网络，然后多个神经网络再对结果进行投票，从而排除overfitting。其目标是：在丢失部分证据的条件下，此方法同样健壮。Dropout用于训练大的深度网络很有用，因为在此类网络中，overfitting问题非常严重。