NFL定理和算法的优劣性
2017-04-23 21:21
211 查看
希望大家能自己去了解一下“归纳偏好”“欠拟合”“过拟合”“奥卡姆剃刀”原则以及NFL定理。
NFL(No Free Lunch Theorem)定理,经过推导后得出结论:无论算法多聪明或笨拙,它们的期望性能是相同的。不要气馁,因为NFL定理有一个重要前提:所有“问题”出现的机会或所有问题同等重要。但实际情况是,很多时候我们只关注自己正试图解决的问题,希望找到一个解决方案。至于这个解决方案在别的问题甚至相似问题上是否为好方案,我们并不关心。例如,为了快速从A到B,如果A是南京鼓楼、B是南京新街口,那么“骑ofo”肯定是很好的解决方案;这个方案对A是南京鼓楼、B是北京新街口...你懂的
回到熟悉的西瓜问题,考虑{假设1:好瓜(色泽=*)^(根蒂=蜷缩)^(敲声=浊响)}和{假设2:好瓜(色泽=*)^(根蒂=坚硬)^(敲声=清脆)}。从NFL定理可知,这两个假设同样好。我们可以想到例子,对好瓜(色泽青绿、根底蜷缩、敲声浊响)是假设1更好,而对好瓜(色泽乌黑、根蒂硬挺、敲声清脆)则是假设2更好。看上去的确如此。但实际上(根蒂蜷缩敲声浊响)的好瓜很常见,而(根蒂硬挺敲声清脆)的好瓜罕见,甚至不存在。
所以NFL最重要的意义,是让我们清楚的认识到,脱离具体问题,空泛地谈“什么学习算法更好”毫无意义。因为若考虑所有潜在问题,那么所有学习算法一样好,要谈论算法优劣性,必须针对具体的学习问题。
归纳偏好、欠拟合、过拟合的文章csdn比比皆是,大家去搜索一下即可。
NFL(No Free Lunch Theorem)定理,经过推导后得出结论:无论算法多聪明或笨拙,它们的期望性能是相同的。不要气馁,因为NFL定理有一个重要前提:所有“问题”出现的机会或所有问题同等重要。但实际情况是,很多时候我们只关注自己正试图解决的问题,希望找到一个解决方案。至于这个解决方案在别的问题甚至相似问题上是否为好方案,我们并不关心。例如,为了快速从A到B,如果A是南京鼓楼、B是南京新街口,那么“骑ofo”肯定是很好的解决方案;这个方案对A是南京鼓楼、B是北京新街口...你懂的
回到熟悉的西瓜问题,考虑{假设1:好瓜(色泽=*)^(根蒂=蜷缩)^(敲声=浊响)}和{假设2:好瓜(色泽=*)^(根蒂=坚硬)^(敲声=清脆)}。从NFL定理可知,这两个假设同样好。我们可以想到例子,对好瓜(色泽青绿、根底蜷缩、敲声浊响)是假设1更好,而对好瓜(色泽乌黑、根蒂硬挺、敲声清脆)则是假设2更好。看上去的确如此。但实际上(根蒂蜷缩敲声浊响)的好瓜很常见,而(根蒂硬挺敲声清脆)的好瓜罕见,甚至不存在。
所以NFL最重要的意义,是让我们清楚的认识到,脱离具体问题,空泛地谈“什么学习算法更好”毫无意义。因为若考虑所有潜在问题,那么所有学习算法一样好,要谈论算法优劣性,必须针对具体的学习问题。
归纳偏好、欠拟合、过拟合的文章csdn比比皆是,大家去搜索一下即可。
相关文章推荐
- 机器学习PartIII:测试算法和NFL定理
- 【算法专题】重要公式与定理
- 博弈论重要算法:Sprague-Grundy 定理(转)
- 主定理与递归树计算算法时间复杂度
- 计算计算机网络的可靠度---因子定理计算网络可靠度的算法C#代码实现
- 算法-中国剩余定理
- 算法——中国剩余定理(孙子定理)
- 基于分离轴定理的二维游戏碰撞检测算法
- 利用中国剩余定理加速解密算法求解
- 关于利用死锁定理关于化简资源分配图(RAG)算法中“两不点”备忘
- .NET下文本相似度算法余弦定理和SimHash浅析及应用实例分析
- 费马小定理 素数判定 蒙哥马利算法
- 2018年全国多校算法寒假训练营练习比赛(第三场)题解 A-不凡的夫夫(斯特林定理的应用)
- 算法竞赛入门经典 习题2-3剩余数定理+最大公约数/最小公倍数
- [算法导论]排序算法及主定理
- 碰撞检测之分离轴定理算法讲解
- MIT:算法导论——2.渐近符号、递归及解法_和连续子数组的最大和、主方法/主定理求时间复杂度
- 算法分析---主定理
- [期望与方差 Lucas定理] 算法马拉松25 D 小Q的集合
- 关于Novikoff定理与感知机算法的收敛性