10. Having a dev set and metric speeds up iterations 有一个开发集和评估指标来加速迭代（《MACHINE LEARNING YEARNING》翻

有一个开发集和评估指标来加速迭代

对于一个新问题，很难事先知道什么方法是最合适的。即使经验丰富的机器学习研究者在发现满意的方法之前也会尝试各种各样的idea。在构建机器学习系统时，我经常会：

首先想出一些构建系统的想法（idea）

在代码（code）中实现这些idea

进行实验（experiment），通过实验判断我的想法 work的怎么样。（通常我的前几个想法都不是很work！）基于这些知识，再生成更多的idea，并不断迭代。



这是一个不断迭代的过程。你循环得越快，你的进展也就越快。这就是 开发/测试集 和评估指标非常重要的原因：每次你尝试一个新的想法时，在开发集上测试其表现性能，这将使你快速判断你是否在朝着正确的方向前进。

相反，如果你没有特定的开发集和评估指标。那么每次你的团队开发出一个新的猫分类器时，你必须把它移植到你的应用程序，并亲身体验几个小时来感受一下这个新的分类器性能是否有提升。这将是极其极其慢的！并且，如果你的团队将分类器的准确率从95.0%提升到95.1%，你可能无法通过亲身体验来感受到这0.1%的改进。而通过这些0.1%的不断改进，你的系统将取得很大的进步。有一个开发集和评估指标，你可以很快地检测出哪些想法给你的系统带来了小（或大）的改进，然后你就清楚地知道了哪些想法可以进一步改善，而哪些需要被舍弃。