《机器学习》绪论中假设空间和归纳偏好的解释
2016-11-18 00:26
369 查看
假设空间是指所有可能的能满足样本输入和输出的假设函数h(x)的集合。注意,假设函数一定是一个无穷大的集合。也就是说,如果样本是一串有穷的离散点(xi,yi),i属于1到N,那么能够拟合这这些点的无穷多个函数都是可能的假设函数。
那么,怎样的假设函数是最合理呢?这就涉及到归纳偏好的概念了。
归纳偏好是一个能挑选最佳假设函数的基准。以韦小宝的7个老婆为例,这7个老婆均满足小宝的要求,因此构成了大小为7的假设空间。(实际上,假设空间的大小一定是无穷大的。为了说明问题,我们暂时以7为大小)。那么,如何衡量哪一个假设空间中哪一个假设函数(老婆)最好呢?如果以温柔体贴为偏好来选,当然是小双;如果以小宝的迷恋为偏好来讲,假设函数就是阿珂。说白了,归纳偏好就是一个用于挑选假设函数的基准。
一般情况下,我们都使用“奥卡姆剃刀”原则,也就是选择最简单的假设函数。也就是变量最少,变量的幂指数最小的函数。也就是说,一次函数能拟合时就不选二次函数作为假设函数。
那么,怎样的假设函数是最合理呢?这就涉及到归纳偏好的概念了。
归纳偏好是一个能挑选最佳假设函数的基准。以韦小宝的7个老婆为例,这7个老婆均满足小宝的要求,因此构成了大小为7的假设空间。(实际上,假设空间的大小一定是无穷大的。为了说明问题,我们暂时以7为大小)。那么,如何衡量哪一个假设空间中哪一个假设函数(老婆)最好呢?如果以温柔体贴为偏好来选,当然是小双;如果以小宝的迷恋为偏好来讲,假设函数就是阿珂。说白了,归纳偏好就是一个用于挑选假设函数的基准。
一般情况下,我们都使用“奥卡姆剃刀”原则,也就是选择最简单的假设函数。也就是变量最少,变量的幂指数最小的函数。也就是说,一次函数能拟合时就不选二次函数作为假设函数。
相关文章推荐
- 周志华《机器学习》 学习笔记(二) 假设空间与归纳偏好
- 机器学习笔记(二)假设空间
- 机器学习笔记(三)归纳偏好
- 【机器学习杂货铺】——归纳偏好(暂缺)
- 机器学习(周志华)习题解答1.1-1.3: 理解假设和版本空间
- 西瓜书《机器学习》阅读笔记1——Chapter1_假设空间
- 机器学习(二) - - 假设空间
- 机器学习(周志华)习题解答1.1-1.3: 理解假设和版本空间
- 《机器学习》中的假设空间和版本空间
- 机器学习(周志华版)学习笔记(二)假设空间
- 机器学习:归纳偏好-“没有免费的午餐”定理
- 机器学习(三) - - 归纳偏好
- 机器学习(周志华版)学习笔记(三)归纳偏好
- 机器学习--归纳偏好
- 建表语句导致空间浪费的解释
- 机器学习——分类算法2:决策树 思想和代码解释
- 1.北京理工大学Python与机器学习-绪论
- 机器学习入门:用通俗的方式解释线性回归以及实现
- 趣文:如何向外行解释机器学习和数据挖掘
- 机器学习总结-sklearn参数解释