13. Error analysis: Look at dev set examples to evaluate ideas 错误分析:查看开发集样本来评估idea(《MACHINE
2016-12-10 00:15
204 查看
下面13~17小节将主要介绍
Basic Error Analysis 基本错误分析
于是一个团队成员建议加入第三方软件,使系统对于狗的样本处理的更好。这些改变需要花费一个月的时间,团队其他成员也都很热衷于这一方案。你应该要求他们这样做吗?
在为这个任务投资一个月之前,我建议你首先评估一下它实际上会提高多少系统的准确性。然后你才能理性地选择是否值得花费这一个月的开发时间,或是否最好使用这段时间做些别的事情。
具体来说,你可以做以下事情:
获取100个你的系统错误分类的样例
手动查看这些样本,并他们中有多少比例是狗的图像
查看错误分类的样例这一过程被称为“错误分析(error analysis)”。在这个案例中,你发现仅仅5%的错误分类的图像是狗,那么无论你对狗的问题做多少改进,你都不会消除超过5%的错误。换句话说,5%是上述建议(加入第三方库)能够达到的改进上限(ceiling, meaning maximum possible amount)。因此,如果整个系统当前的准确率为90%(误差10%),这一改进可能导致最多90.5%的准确率。
相比之下,如果你发现50%的错误图像都是狗,那么你更相信加入第三方软件能产生很大的影响。它可能将准确率从90%提升到95%(误差相对减少50%,从10%降到5%)。
这种简单的错误分析的计算过程能给你一个快速的方法来评估为“狗”问题加入第三方软件的可能价值。它提供了一个定量的基准,你可以根据这个基准来决定是否应该做出这笔投资。
错误分析通常会帮你找出不同的想法间哪些更有前景。我曾经看到许多工程师不愿意进行错误分析。相比于质疑这个想法是否值得花时间投入,直接扎进一个想法并实施经常会更让人感到刺激。这是一个常见的错误:这会导致你的团队话费一个月时间实现后,发现它只带来很少的好处。
手动检查100个样本并不会花费太长时间。即使你每分钟只看一张图片,两小时也就搞定了。这两个小时可能节约你一个月的白白努力,值得花费这两个小时。
“错误分析(Error Analysis)”是指检查开发集中错误分类的样本以便了解错误的深层原因这一过程。它可以帮助你优先选择某一工作(正如这个例子)和启发一些新的方向(我们下节将要讨论的内容)。接下来的几节还将介绍一些错误分析的最佳实践。
Basic Error Analysis 基本错误分析
错误分析:查看开发集样本来评估idea
当你玩你的猫app时,你注意到有时它会把狗错误识别成猫。一些狗长的像猫!于是一个团队成员建议加入第三方软件,使系统对于狗的样本处理的更好。这些改变需要花费一个月的时间,团队其他成员也都很热衷于这一方案。你应该要求他们这样做吗?
在为这个任务投资一个月之前,我建议你首先评估一下它实际上会提高多少系统的准确性。然后你才能理性地选择是否值得花费这一个月的开发时间,或是否最好使用这段时间做些别的事情。
具体来说,你可以做以下事情:
获取100个你的系统错误分类的样例
手动查看这些样本,并他们中有多少比例是狗的图像
查看错误分类的样例这一过程被称为“错误分析(error analysis)”。在这个案例中,你发现仅仅5%的错误分类的图像是狗,那么无论你对狗的问题做多少改进,你都不会消除超过5%的错误。换句话说,5%是上述建议(加入第三方库)能够达到的改进上限(ceiling, meaning maximum possible amount)。因此,如果整个系统当前的准确率为90%(误差10%),这一改进可能导致最多90.5%的准确率。
相比之下,如果你发现50%的错误图像都是狗,那么你更相信加入第三方软件能产生很大的影响。它可能将准确率从90%提升到95%(误差相对减少50%,从10%降到5%)。
这种简单的错误分析的计算过程能给你一个快速的方法来评估为“狗”问题加入第三方软件的可能价值。它提供了一个定量的基准,你可以根据这个基准来决定是否应该做出这笔投资。
错误分析通常会帮你找出不同的想法间哪些更有前景。我曾经看到许多工程师不愿意进行错误分析。相比于质疑这个想法是否值得花时间投入,直接扎进一个想法并实施经常会更让人感到刺激。这是一个常见的错误:这会导致你的团队话费一个月时间实现后,发现它只带来很少的好处。
手动检查100个样本并不会花费太长时间。即使你每分钟只看一张图片,两小时也就搞定了。这两个小时可能节约你一个月的白白努力,值得花费这两个小时。
“错误分析(Error Analysis)”是指检查开发集中错误分类的样本以便了解错误的深层原因这一过程。它可以帮助你优先选择某一工作(正如这个例子)和启发一些新的方向(我们下节将要讨论的内容)。接下来的几节还将介绍一些错误分析的最佳实践。
相关文章推荐
- 14. Evaluate multiple ideas in parallel during error analysis 错误分析时并行评估多个想法(《MACHINE LEARNIN
- C访问hadoop程序终端显示运行正确,因为连接参数错误,使得通过网页查看就是没有成功原因分析和解决方案
- SonarQube +Idea 2016 分析代码质量错误日志
- 查看IIS日志并且分析其中的错误日志
- as, idea 出现 Gradle's dependency cache may be corrupt 错误分析
- IDEA查看源码时提示:Library source does not match the bytecode for class的问题分析
- IDEA查看源码时提示:Library source does not match the bytecode for class的问题分析
- IntelliJ IDEA 4 新特性 之 On-the-Fly Code Analysis(动态代码分析)
- SMS2003 推送软件包中的日志查看及安装错误代号1633分析
- idea 中查看maven 依赖图并分析冲突
- 社会网络分析(Social Network Analysis)
- ORACLE常见错误代码的分析与解决(二)
- 详细分析HTTP500内部错误产生的原因(转)
- [转] GDI+编程中的一条错误信息及其原因分析
- SQL Server连接中三个常见的错误分析
- ORACLE常见错误代码的分析与解决(一)
- ORACLE常见错误代码的分析与解决
- 关闭HttpUnit不支持的JavaScript语句,并查看错误
- SQL Server连接中三个最常见错误原因分析
- GDI+编程中的一条错误信息及其原因分析