14. Evaluate multiple ideas in parallel during error analysis 错误分析时并行评估多个想法（《MACHINE LEARNIN

错误分析时并行评估多个想法

你的团队有以下几个想法来改进猫检测器：

解决狗被错认为是猫的问题

解决“大形猫科类动物（great cats）”(狮子，豹等)被错认为是家猫（宠物）的问题

提高系统在模糊（blurry）图像上的表现性能

……

你可以同时有效地评估所有这些想法。我通常会做一个电子表格，查看100个分类错误的开发集样本并填充在表格上，同时也会写下一些针对特定样本的评论。这里用有4个错误分类样本的示例说明下此过程，你的电子表格大概如下所示：



表格中的图片3在Great Cat 和Blurry两列都被勾选了：可以将一个样本与多个类别相关联。这就是为什么在底部的百分比加起来不一定等于100%。

虽然我描述这个过程为首先制定类别（Dog, Great cat, Blurry），然后查看样例并对它们进行分类。实践中，当你在查看样例时，可能被激发出一些新的错误类别。例如，也许查看过几十张图像后，你发现许多错误都来自于Instagram 过滤器（关于Instagram：https://zh.wikipedia.org/wiki/Instagram）处理之后的图片。你可以返回并在电子表格中添加“Instagram”列。手动查看算法出错的样例，并思考人是 如何/是否 能正确地分类这些样例。这将经常启发你提出一些新的类别和解决办法。

最有用的错误类别是你有想法去改进的那些。例如，如果你办法“撤销”Instagram 过滤器恢复原始图像，Instagram类别则是最有用的。但是你不必只限于你已经有想法去改进的错误类别；这个过程的目的是建立一种认识：哪些方面才是最需要被关注的。

错误分析是一个迭代的过程。你甚至刚开始时大脑里没有任何分类。查看图片，你可能会想出一些错误类别。然后查看并手动分类这些图片，你可能又会想出一些新的类别。再返回添加新类别并重新查看图片，以此类推。

假如你完成了100个开发集示例的错误分析，得到如下表格：



你现在知道了一个解决狗分类错误的方法可以消除最多8%的错误。致力于Great cat和Blurry的图像错误对项目帮助更大。因此，你可能会挑选后两者之一来进一步展开工作。如果你的团队有足够多的人可以同时展开多个方向，你也可以分配一些工程师研究Great cat问题，另外一些解决Blurry的问题。

错误分析并不会得出一个明确的数学公式来告诉你什么才是最应该做的。你必须考虑你希望在不同错误类别上取得多少进展，以及处理每个类别所需要的工作量。