深度学习--训练集验证集测试集合理划分比例
2018-02-01 19:52
337 查看
众所周知,在机器学习深度学习领域,合理划分训练集验证集和测试集是很重要的,本文主要介绍如何划分。
过去,人们运用机器学习传统方法的时候,一般将训练集和测试集划为7:3.
若有验证集,则划为6:2:2. 这样划分确实很科学,当数据量不大的时候(万级别及以下)。
但到了大数据时代,数据量陡增为百万级别,此时我们不需要那么多的验证集和训练集。
假设有100W条数据,只需要拿出1W条来当验证集,1W条来当测试集,就能很好地work了。
因此,在深度学习中若是数据很大,我们可以将训练集、验证集、测试集比例调整为98:1:1
过去,人们运用机器学习传统方法的时候,一般将训练集和测试集划为7:3.
若有验证集,则划为6:2:2. 这样划分确实很科学,当数据量不大的时候(万级别及以下)。
但到了大数据时代,数据量陡增为百万级别,此时我们不需要那么多的验证集和训练集。
假设有100W条数据,只需要拿出1W条来当验证集,1W条来当测试集,就能很好地work了。
因此,在深度学习中若是数据很大,我们可以将训练集、验证集、测试集比例调整为98:1:1
相关文章推荐
- caffe+报错︱深度学习参数调优杂记+caffe训练时的问题+dropout/batch Normalization
- 深度学习 13. 能力提升, 一步一步的介绍如何自己构建网络和训练,利用MatConvNet(二),思路整理
- 深度学习中训练参数的调节技巧
- 深度学习实战——caffe windows 下训练自己的图像模型
- 【深度学习-CNN】训练样本不平衡对训练结果的影响
- 深度学习网络训练,调参技巧
- 基于PyTorch的深度学习入门教程(五)——训练神经网络分类器
- 深度学习与人脸识别系列(6)__利用训练好的vgg模型进行人脸识别(利用摄像头)
- 深度学习与计算机视觉系列(8)_神经网络训练与注意点
- TensorFlow 深度学习框架(7)-- 变量管理及训练模型的保存与加载
- TensorFlow 深度学习框架(7)-- 变量管理及训练模型的保存与加载
- 深度学习(一)学会用CAFFE训练自己的模型
- 深度学习与爬虫实例教学--深度学习模型构建和训练
- 深度学习笔记 (二) 在TensorFlow上训练一个多层卷积神经网络
- Deep Learning(深度学习)之(一)特征以及训练方法
- 深度学习训练中为什么要将图片随机剪裁(random crop)
- Facebook开源Caffe2深度学习框架:开发者可快速训练和迭代AI模型
- 【深度学习】web版一键训练系统
- 深度学习训练,选择P100就对了
- 深度学习网络训练技巧汇总