机器学习笔记（二）假设空间

归纳是从特殊到一般的泛化过程，即从事实归结出一般性规律。

演绎是从一般到特殊的特化过程，即基础原理推演出具体状况。

从样例中学习是一个归纳过程，亦称为归纳学习。

归纳学习有广义与狭义之分，广义的归纳学习相当于从样例中学习，狭义的归纳学习要从训练数据中学得概念，因此称为概念学习或概念形成。

概念学习中最基本的是布尔概念学习，即分为是与不是，举一个简单的例子

碗的数据集

编号	色泽	裂纹	敲声	好碗
1	光亮	无	清脆	是
2	阴暗	无	闷重	否
3	光亮	较少	清脆	是
4	阴暗	较多	浑浊	否

这里主要分好碗与不好的碗，我们的任务是把三种属性值确定下来，来分别一个碗是否是好碗。其中，记住训练样本，就是所谓的机械学习，或称死记硬背学习。这里的三种属性可以分别区不同的值，加上假设没有好瓜这种空集，假设空间的规模大小为4*4*4+1=65.在对这个假设空间进行搜索时，不断删除与正例不一致或与反例一致的假设，最终将会获得与训练集一致的假设，即对所有样本都能进行判断，这是我们学得的结果。
在现实问题中，我们会面临很大的假设空间，其中会有一组与训练集合相一致的假设集合，称为版本空间。