没有免费午餐定理(NFL)
2017-02-14 10:00
267 查看
No Free Lunch Theoren 定理 ,
没有免费的午餐定理,简称NFL定理,
由美国斯坦福大学的Wolpert和Macready教授提出。
+++++
在机器学习算法中的体现为在没有实际背景下,
没有一种算法比随机胡猜的效果好。
+++++
首先,我们假设一个算法为a,
而随机胡猜的算法为b,
为了简单起见,
假设样本空间为χ和假设空间为H都是离散的。
令 P(h|X,a)表示算法a基于训练数据X产生假设h的概率,
再令f代表我们希望的真实目标函数。
a的训练集外误差,即a 在训练集之外的所有样本上的误差为
Eote(a|X,f)=∑h∑x∈χXP(x)I(h(x)≠f(x))P(h|X,a)
其中I()是指示函数,若为真则取值1,否则取值0.
考虑二分类问题,且真实目标函数可以是任何函数χ{0,1},函数空间为{0,1}|χ|(|χ|指样本空间χ中元素个数,对所有可能的f按均匀分布对误差求和,有
**∑fEote(a|X,f)
=∑f∑h∑x∈χXP(x)I(h(x)≠f(x))P(h|X,a)
=∑x∈χXP(x)∑hP(h|X,a)∑fI(h(x)≠f(x))
=∑x∈χXP(x)∑hP(h|X,a)122|χ|
=2|χ|1∑x∈χXP(x)∑hP(h|X,a)
=2|χ|1∑x∈χXP(x)1**
可以看到总误差竟与算法无关!
对于任何两个算法a和b都有
∑fEote(a|X,f)=∑fEote(b|X,f)
得证无论算法多好在没有实际背景情况下都不如随机胡猜。
所以,NFL定理最重要意义是,
在脱离实际意义情况下,
空泛地谈论哪种算法好毫无意义,
要谈论算法优劣必须针对具体学习问题。
没有免费的午餐定理,简称NFL定理,
由美国斯坦福大学的Wolpert和Macready教授提出。
+++++
在机器学习算法中的体现为在没有实际背景下,
没有一种算法比随机胡猜的效果好。
+++++
首先,我们假设一个算法为a,
而随机胡猜的算法为b,
为了简单起见,
假设样本空间为χ和假设空间为H都是离散的。
令 P(h|X,a)表示算法a基于训练数据X产生假设h的概率,
再令f代表我们希望的真实目标函数。
a的训练集外误差,即a 在训练集之外的所有样本上的误差为
Eote(a|X,f)=∑h∑x∈χXP(x)I(h(x)≠f(x))P(h|X,a)
其中I()是指示函数,若为真则取值1,否则取值0.
考虑二分类问题,且真实目标函数可以是任何函数χ{0,1},函数空间为{0,1}|χ|(|χ|指样本空间χ中元素个数,对所有可能的f按均匀分布对误差求和,有
**∑fEote(a|X,f)
=∑f∑h∑x∈χXP(x)I(h(x)≠f(x))P(h|X,a)
=∑x∈χXP(x)∑hP(h|X,a)∑fI(h(x)≠f(x))
=∑x∈χXP(x)∑hP(h|X,a)122|χ|
=2|χ|1∑x∈χXP(x)∑hP(h|X,a)
=2|χ|1∑x∈χXP(x)1**
可以看到总误差竟与算法无关!
对于任何两个算法a和b都有
∑fEote(a|X,f)=∑fEote(b|X,f)
得证无论算法多好在没有实际背景情况下都不如随机胡猜。
所以,NFL定理最重要意义是,
在脱离实际意义情况下,
空泛地谈论哪种算法好毫无意义,
要谈论算法优劣必须针对具体学习问题。
相关文章推荐
- 简化论述没有免费午餐定理(NFL)
- 没有免费的午餐定理 NFL:(No Free Lunch Theorem)
- 机器学习(周志华)习题解答1.4: 两个算法到底孰优孰劣?没有免费午餐定理
- 机器学习(周志华)习题解答1.4: 两个算法到底孰优孰劣?没有免费午餐定理
- 微软还是没有发现自己的问题!
- 让linux mint terminal没有多余的文字
- ASP.NET 当GridView中没有数据的时候,显示标题栏 并且给出一行数据提
- hadoop中启动datanode或者namenode没有启动起来
- VC中".pch"是什么文件,没有.pch文件怎么办
- listview没有数据时显示指定的view
- Android打印机--没有设备驱动sdk,自己实现USB打印功能
- 弹出界面eth0: 错误:没有找到合适的设备:没有找到可用于链接’System eth0’的设备
- 显示桌面没有了【结局办法】
- 建立多层文件夹的简单方法 mkdir -p,如果上一层没有,会自动建立上一层目录!
- 如果有一天你没有了动力,可以看看
- 如何解决AJAX中跨域访问出现'没有权限'的错误
- android自动更新程序,安装完以后就什么都没有了,没有出现安装成功的界面的问题
- 查看工作组计算机 无法访问 没有权限使用网络资源
- 初步进行泛微OA开发记录--在调休申请时判断是否加班没有加班时间的话不允许提交
- 美国参议院听证会:没有比特币就没有分布式分类账本技术,加密货币或迎来最新监管