深度学习——概述及反向传播BP算法

O、机器学习回顾



机器学习可以当做深度学习的分类器，深度学习用于提取特征，将特征向量喂给机器学习算法进行分类与回归。

一、神经网络来源——神经元







二、浅层神经网络前向传播
1、单个样本单隐藏层的神经网络前向传播









2、多个样本（训练集）上的单隐藏层的神经网络前向传播









三、几种激活函数及其导数











四、神经网络梯度下降法











五、深层神经网络（DNN）
前向传播求损失，反向传播求梯度。