神经网络训练时常见的概念问题
2017-03-09 11:58
330 查看
epoch、 iteration和batchsize,三个的区别:
(1)batchsize:一个批次样本含量。在深度学习中,即每次训练在训练集中取 batchsize 个样本训练;
(2)iteration:1个iteration等于使用batchsize个样本训练一次;
(3)epoch:1个epoch等于使用训练集中的全部样本训练一次;
举个例子,训练集有1000个样本,batchsize=100,那么,一个batch有100个样本
训练完整个样本集需要:
10次iteration,1次epoch。
iterations(迭代):每一次迭代都是一次权重更新,每一次权重更新需要batch size个数据进行Forward运算得到损失函数,再BP算法更新参数。
最后可以得到一个公式 one epoch = numbers of iterations = N = 训练样本的数量/batch size
卷积层输出feature map 的size为:(N+2xp-k)/s+1 得到(p为padding的大小),每次滑动运算后都会得到一个点。
a) N是NxN平面水平或者垂直方向上的大小;
b) K是kernel在NxN平面方向上的大小kernel_size;
c) S是滑块每次滑动的步长stride;
(1)batchsize:一个批次样本含量。在深度学习中,即每次训练在训练集中取 batchsize 个样本训练;
(2)iteration:1个iteration等于使用batchsize个样本训练一次;
(3)epoch:1个epoch等于使用训练集中的全部样本训练一次;
举个例子,训练集有1000个样本,batchsize=100,那么,一个batch有100个样本
训练完整个样本集需要:
10次iteration,1次epoch。
iterations(迭代):每一次迭代都是一次权重更新,每一次权重更新需要batch size个数据进行Forward运算得到损失函数,再BP算法更新参数。
最后可以得到一个公式 one epoch = numbers of iterations = N = 训练样本的数量/batch size
卷积层输出feature map 的size为:(N+2xp-k)/s+1 得到(p为padding的大小),每次滑动运算后都会得到一个点。
a) N是NxN平面水平或者垂直方向上的大小;
b) K是kernel在NxN平面方向上的大小kernel_size;
c) S是滑块每次滑动的步长stride;
相关文章推荐
- VxWorks基本概念及常见问题
- VxWorks基本概念及常见问题
- 微软扫盲贴:Windows 和 GPT 常见问题解答(uefi、GPT、ESP、MSR之类的概念)
- [转贴] MS扫盲贴:Windows 和 GPT 常见问题解答(uefi、GPT、ESP、MSR之类的概念)
- 网闸——物理隔离网闸常见概念问题解答
- 目标检测——opencv cascade训练的一般使用流程与常见问题
- 5.常见概念和问题
- OpenGL的常见问题以及基础的概念知识
- 单点登录cas常见问题(十三) - 几个重要概念怎么理解?
- 软件测试常见问题概念汇总(武林秘籍)
- Java的一些常见问题,JRE,JDK,JVM,包等概念理解
- 《FAQ:OpenCV Haartraining》——使用OpenCV训练Haar like+Adaboost分类器的常见问题
- linux常见问题之系统移植的概念区分
- 机器学习基本概念和模型训练基本问题
- 常见概念问题
- VxWorks基本概念及常见问题
- Linux 终端概念常见问题
- 《FAQ:OpenCV Haartraining》——使用OpenCV训练Haar like+Adaboost分类器的常见问题
- 训练的神经网络的常见问题
- 用Keras搭建, 编译和训练神经网络时,常见问题