7. How large do the dev/test sets need to be? 开发集和测试集多大合适(《MACHINE LEARNING YEARNING》翻译)
2016-12-09 03:54
603 查看
开发集和测试集多大合适?
开发集应该足够大,大到能检测出你尝试的不同算法之间的差异。例如,如果一个分类器A具有90.0%的准去率而分类器B具有90.1%的准确率,则只具有100个示例的开发集不能够检测出这0.1%的差异。与我看到的其他机器学习问题相比,100个样本的开发集很小。常见的开发集样本规模一般在1000到10000之间。在10000个样本的情况下,你将有更大的可能性检测到0.1%的性能提升。【2】对于一些成熟和重要的应用程序(例如广告,网页搜索和产品推荐等),我也会看到一些团队在为甚至0.01%的性能提升而努力奋斗,因为它对公司的利润有直接影响。在这种情况下,开发集的数据量可以远大于10000,以便检测更小的改进。
那关于测试集的数据规模呢?它应该足够大,大到能对你的系统整体性能评估拥有一个很高的自信度。一个流行的启发式方法(heuristic)是将30%的数据用于测试。在你拥有一个中等数据量(100到10000个样本)的情况下,它work的很好。但是在大数据时代(现在我们面对的机器学习问题可能会有超过数10亿的样本),分配给 开发/测试集 的数据比例一直在减小,但是 开发/测试集 样本的绝对数量是在增长。在给 开发/测试集 分配数据时,没必要过多地超出其评估算法性能所需要的数据量。
——————————————————————————
【2】理论上,我们可以测试算法的改变是否在开发集上产生统计意义上显著的差异。在实践中,大部分团队并不会为此费神(除非他们正在发表学术研究论文),并且我通常并没有发现统计意义的测试(statistical significance tests)对测量临时进展(measuring interim progress)是有用的。
相关文章推荐
- MLY -- 7.How large do the dev/test sets need to be?
- 5. Your development and test sets 你的开发集和测试集(《MACHINE LEARNING YEARNING》翻译)
- 11. When to change dev/test sets and metrics 何时更改开发/测试集和评估指标(《MACHINE LEARNING YEARNING》翻译)
- The one machine learning concept you need to know
- How Much Unit Test Coverage Do You Need? - The Testivus Answer
- iphone app 开发:HOWTO build the toolchain for Iphone-dev
- 12. Takeaways: Setting up development and test sets 小结:建立开发集和测试集(《MACHINE LEARNING YEARNING》翻译)
- How do you explain Machine Learning and Data Mining to non Computer Science people?
- 《Machine Learning is Fun Part 6: How to do Speech Recognition with Deep Learning》译文
- The 10 Algorithms Machine Learning Engineers Need to Know
- The 8 Neural Network Architectures Machine Learning Researchers Need to Learn
- 32-bit Assembler is Easy, why and how to develop using the assembler; start learning to program in Assembly now!
- When you copy large files to or from earlier operating systems, the copy operation may be slower than expected on some Windows Vista-based computers
- How to be the rich?
- The J2EE Architect's Handbook: How to be a Successful Technical Architect for J2EE Applications
- How do I bind the values of an enum to a ComboBox?
- 【翻译】How-To: Using the N* Stack, part 3
- 【翻译】How-To: Using the N* stack, part 1
- WCF分布式开发常见错误(23):This could be due to the fact that the server certificate is not configured properly with HTTP.SYS
- The first book you need to follow up in learning Biztalk 2006