神经网络和深度学习-第二周神经网络基础-第七节:计算图
2017-12-30 23:07
691 查看
本系列博客是吴恩达(Andrew Ng)深度学习工程师 课程笔记。全部课程请查看吴恩达(Andrew Ng)深度学习工程师课程目录
可以说,一个神经网络的计算都是按照前向或反向传播过程来实现的。首先计算出神经网络的输出,紧接着进行一个反向传输操作,后者我们用来计算出对应梯度或者导数。而计算图解释了为什么用这样的方式这样实现。
为了阐明这个计算过程,我们举一个比logistic回归更加简单的,不那么正式的神经网络的例子。我们计算函数J:
J(a,b,c)=3(a+bc)
计算这个函数实际上有三个不同的步骤第一个首先是计算b乘以c,我们把它存储在变量u中:
u=bc
然后计算v=a+u,最后计算J=3v。我们可以把这三步画成如下计算图:
可以看出,通过一个从左向右的过程,你可以计算出J的值。在接下的课程中我们会看到,为了计算导数从右到左的这个过程,和这个蓝色的过程相反。这会是用于计算导数最自然的方式。
可以说,一个神经网络的计算都是按照前向或反向传播过程来实现的。首先计算出神经网络的输出,紧接着进行一个反向传输操作,后者我们用来计算出对应梯度或者导数。而计算图解释了为什么用这样的方式这样实现。
为了阐明这个计算过程,我们举一个比logistic回归更加简单的,不那么正式的神经网络的例子。我们计算函数J:
J(a,b,c)=3(a+bc)
计算这个函数实际上有三个不同的步骤第一个首先是计算b乘以c,我们把它存储在变量u中:
u=bc
然后计算v=a+u,最后计算J=3v。我们可以把这三步画成如下计算图:
可以看出,通过一个从左向右的过程,你可以计算出J的值。在接下的课程中我们会看到,为了计算导数从右到左的这个过程,和这个蓝色的过程相反。这会是用于计算导数最自然的方式。
相关文章推荐
- 神经网络和深度学习-第二周神经网络基础-第七节:计算图
- 神经网络和深度学习-第二周神经网络基础-第八节:计算图的导数计算
- 神经网络和深度学习-第二周神经网络基础-第八节:计算图的导数计算
- 吴恩达深度学习入门学习笔记之神经网络和深度学习(第二周:神经网络基础)
- 神经网络和深度学习-第二周神经网络基础-第二节:Logistic回归
- 神经网络和深度学习-第二周神经网络基础-第三节:Logistic 回归损失函数
- 神经网络和深度学习-第二周神经网络基础-第一节:二分分类
- 1.神经网络和深度学习-第一周(概论)与第二周(神经网络基础)
- 吴恩达深度学习入门学习笔记之神经网络和深度学习(第二周:神经网络基础)
- 神经网络和深度学习-第二周神经网络基础-第四节:梯度下降法
- 神经网络和深度学习-第二周神经网络基础-第三节:Logistic 回归损失函数
- 神经网络和深度学习-第二周神经网络基础-第四节:梯度下降法
- 吴恩达深度学习课程笔记之神经网络基础
- [DeeplearningAI笔记]神经网络与深度学习2.1-2.4神经网络基础
- 一文理解深度学习,卷积神经网络,循环神经网络的脉络和原理1-深度学习基础
- 人工智能,机器学习,神经网络,深度学习之基础概念
- 零基础入门深度学习(3) - 神经网络和反向传播算法
- 神经网络与深度学习学习笔记:numpy基础
- 深度学习-基础概念:神经元(Neurons)、Sigmoid 函数与神经网络基本结构
- 吴恩达Coursera深度学习(4-1)卷积神经网络基础