机器学习之&&Andrew Ng课程复习--- 神经网络3

前几篇博客，我们已经对神经网络这种伟大的算法有了一定的了解，但具体的计算过程，参数(权重)的学习过程，我们任然不清楚，接下来，我们一同来看看，在给定训练集下，为神经网络拟合参数的过程，正如我们学习LR等一样，我们将从拟合代价函数开始，我们重点认识神经网络在分类中的应用。(如下图)



如上图所示：我们有M个训练样本，用L表示一个神经网络的层数，sl表示l层的单元数目(神经元或者计算单元)，其中不包括偏差单元。



对于上图的解释：首先，我们用到的激励函数是sigmoid函数，LR的costFunction如上图第一行，而对于一个多(K)元分类神经网络来说,有K个输出，也就是说代价函数应该是K个sigmoid代价函数的合。接下来让我们一同优化这个代价函数。(主要以反向传播讲解为主)

我们以梯度下降法来学习参数如下图：



让我们来看看如何计算这些偏导项，利用反向传播算法。



利用从输出到输入的过程，计算每一层的误差。下面我们来看有M个样本的情况。



公式推导。。。。等我推完发手写版