人工神经网络 和梯度下降
2018-03-02 00:35
246 查看
1. 什么是神经网络?
神经网络是一种数学模型,是存在于计算机的神经系统。由大量的神经元相连接并进行计算,在外界信息的基础上,改变内部结构,常用来对输入和输出间复杂的关系进行建模。
2. 人工神经网络中的所有联结是固定不变的;
3. 人工神经网络对比“讨糖果”:我们将很多吃糖的学习数据送入神经网络,糖的信号会作用到手,通过对比这次放入这套神经网络中,手的动作是不是“讨糖”的动作,来修改人工神经网络中的神经元强度,这种方式为“误差反向传递”。
误差反向传递将传过来的数据再一次传过去,看看这个负责传递信号的神经元对于“讨糖”的动作有没有贡献。4. 人工神经网络通过正向和反向传播来更新神经元,从而形成一个更好的神经系统。本质上为能让计算机处理和优化的数学模型。
5. 神经网路是如何进行训练的?我们以计算机识别猫为例
每一个神经元都有属于它的激活函数,用这些函数给计算机刺激行为。
在第一次给计算机看猫的图片的时候,只有部分神经元被激活,被激活的神经元所传递的信息是对输出结果最有价值的信息。如果输出结果判定为狗,就会修改神经元参数。一些容易被激活的神经元变得迟钝,另外一些变得敏感。这样一次次训练下去,所有的神经元的参数都在被改变,它们变得对重要的信息更为敏感。
6. 神经网络 梯度下降:
a.误差方程:用来计算预测出来的和实际值的差别。预测数值中常用平方差代替,
Cost=(predicted-real)^2=(Wx-y)^2
梯度:蓝色点位置的切线,W是神经网络中的参数。当W取最小值时,梯度最小。简单的说就是找到梯度线水平的点。
b:神经网络中的W可不止一个, 如果有一个W,就能画出之前那样的误差曲线;有两个W,误差曲线可用3D图来展示;超过3个W,就没有很好的办法可视化出来。
7. 全局和局部最优
在简化版的误差曲线中,找到梯度躺平的地方不止有一个;不同的W初始位置,将会带来不同的下降区域。不同的下降区域,又会带来不同的W解。很多时候得出的解是局部最优解,神经网络可以让局部最优解足够优秀,即使拿着局部最优解,也能出色完成手中的任务。
8. 神经网络的黑盒不黑
神经网络的结构:输入端,黑盒,输出端
原始特征-->代表特征-->……-->代表特征-->输出
神经网络是一种数学模型,是存在于计算机的神经系统。由大量的神经元相连接并进行计算,在外界信息的基础上,改变内部结构,常用来对输入和输出间复杂的关系进行建模。
2. 人工神经网络中的所有联结是固定不变的;
3. 人工神经网络对比“讨糖果”:我们将很多吃糖的学习数据送入神经网络,糖的信号会作用到手,通过对比这次放入这套神经网络中,手的动作是不是“讨糖”的动作,来修改人工神经网络中的神经元强度,这种方式为“误差反向传递”。
误差反向传递将传过来的数据再一次传过去,看看这个负责传递信号的神经元对于“讨糖”的动作有没有贡献。4. 人工神经网络通过正向和反向传播来更新神经元,从而形成一个更好的神经系统。本质上为能让计算机处理和优化的数学模型。
5. 神经网路是如何进行训练的?我们以计算机识别猫为例
每一个神经元都有属于它的激活函数,用这些函数给计算机刺激行为。
在第一次给计算机看猫的图片的时候,只有部分神经元被激活,被激活的神经元所传递的信息是对输出结果最有价值的信息。如果输出结果判定为狗,就会修改神经元参数。一些容易被激活的神经元变得迟钝,另外一些变得敏感。这样一次次训练下去,所有的神经元的参数都在被改变,它们变得对重要的信息更为敏感。
6. 神经网络 梯度下降:
a.误差方程:用来计算预测出来的和实际值的差别。预测数值中常用平方差代替,
Cost=(predicted-real)^2=(Wx-y)^2
梯度:蓝色点位置的切线,W是神经网络中的参数。当W取最小值时,梯度最小。简单的说就是找到梯度线水平的点。
b:神经网络中的W可不止一个, 如果有一个W,就能画出之前那样的误差曲线;有两个W,误差曲线可用3D图来展示;超过3个W,就没有很好的办法可视化出来。
7. 全局和局部最优
在简化版的误差曲线中,找到梯度躺平的地方不止有一个;不同的W初始位置,将会带来不同的下降区域。不同的下降区域,又会带来不同的W解。很多时候得出的解是局部最优解,神经网络可以让局部最优解足够优秀,即使拿着局部最优解,也能出色完成手中的任务。
8. 神经网络的黑盒不黑
神经网络的结构:输入端,黑盒,输出端
原始特征-->代表特征-->……-->代表特征-->输出
相关文章推荐
- 人工神经网络(五)梯度下降法
- [置顶] 人工神经网络(五)梯度下降法
- 监督学习应用与梯度下降
- 优化算法——梯度下降法
- 机器学习第二课--梯度下降法(问题与想法)
- Andrew Ng机器学习公开课笔记 -- 线性回归和梯度下降
- 线性回归及梯度下降
- Machine Learning - Gradient Descent (梯度下降)
- Machine Learning - Gradient Descent (梯度下降)
- 机器学习中最小二乘与梯度下降发的区别
- 线性回归梯度下降matlab实现
- 随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比
- 最小二乘法&梯度下降法
- (二)深入梯度下降(Gradient Descent)算法
- 梯度下降原理及在线性回归、逻辑回归中的应用
- 【机器学习详解】线性回归、梯度下降、最小二乘的几何和概率解释
- 梯度下降及logistic回归
- 监督学习应用与梯度下降
- 梯度下降
- 梯度下降