没有免费的午餐定理
2015-09-04 10:57
330 查看
在机器学习中存在一个普适定理--没有免费的午餐(No Free Lunch Theorem,NFL定理)。NFL定理的具体描述为
1)对所有可能的的目标函数求平均,得到的所有学习算法的“非训练集误差”的期望值相同;
2)对任意固定的训练集,对所有的目标函数求平均,得到的所有学习算法的“非训练集误差”的期望值也相同;
3)对所有的先验知识求平均,得到的所有学习算法的的“非训练集误差”的期望值也相同;
4)对任意固定的训练集,对所有的先验知识求平均,得到的所有学习算法的的“非训练集误差”的期望值也相同;
NFL定理表明没有一个学习算法可以在任何领域总是产生最准确的学习器。不管采用何种学习算法,至少存在一个目标函数,能够使得随机猜测算法是更好的算法。
平常所说的一个学习算法比另一个算法更“优越”,效果更好,只是针对特定的问题,特定的先验信息,数据的分布,训练样本的数目,代价或奖励函数等。
NFL定理可以进一步的引出一个普适的“守恒率”--对每一个可行的学习算法来说,它们的性能对所有可能的目标函数的求和结果确切地为零。即我们要想在某些问题上得到正的性能的提高,必须在一些问题上付出等量的负的性能的代价!比如时间复杂度和空间复杂度。
实际上,NFL定理并不是局限在机器学习领域,在我们所处的现在这个已知的宇宙中,NFL定理也总是成立的,就像能量守恒。
1)对所有可能的的目标函数求平均,得到的所有学习算法的“非训练集误差”的期望值相同;
2)对任意固定的训练集,对所有的目标函数求平均,得到的所有学习算法的“非训练集误差”的期望值也相同;
3)对所有的先验知识求平均,得到的所有学习算法的的“非训练集误差”的期望值也相同;
4)对任意固定的训练集,对所有的先验知识求平均,得到的所有学习算法的的“非训练集误差”的期望值也相同;
NFL定理表明没有一个学习算法可以在任何领域总是产生最准确的学习器。不管采用何种学习算法,至少存在一个目标函数,能够使得随机猜测算法是更好的算法。
平常所说的一个学习算法比另一个算法更“优越”,效果更好,只是针对特定的问题,特定的先验信息,数据的分布,训练样本的数目,代价或奖励函数等。
NFL定理可以进一步的引出一个普适的“守恒率”--对每一个可行的学习算法来说,它们的性能对所有可能的目标函数的求和结果确切地为零。即我们要想在某些问题上得到正的性能的提高,必须在一些问题上付出等量的负的性能的代价!比如时间复杂度和空间复杂度。
实际上,NFL定理并不是局限在机器学习领域,在我们所处的现在这个已知的宇宙中,NFL定理也总是成立的,就像能量守恒。
相关文章推荐
- 黑马程序员【android】Java的数据类型的学习笔记二
- 【实例】小球运动,像皮筋那样
- postgresql数据库导入导出
- 知识点
- ubuntu下部分pdf文件不能显示中文
- Caught an exception while getting the property values of struts2文件上传报错
- 关于算法的时间复杂度的探讨
- linux输入输出重定向命令
- iOS 中图片的压缩以及保存
- CSU_1671_经营小卖部
- GitHub上fork后本地如何保持同步
- 算法学习之选择排序
- dos 常见的命令行
- Linux下的Nutch 1.4 安装配置
- HDU 5419——Victor and Toys——————【线段树|差分前缀和】
- 误删/tmp目录,不能启动ubuntu
- iOS开发:Xcode 快捷键大全
- win8.1 中文字体很难看,解决方法
- 网络同步请求
- void指针的使用