【Feasibility of Learning】林轩田机器学习基石

这一节的核心内容在于如何由hoeffding不等式 关联到机器学习的可行性。



这个PAC很形象又准确，描述了“当前的可能性大概是正确的”，即某个概率的上届。

hoeffding在机器学习上的关联就是：

如果样本数量足够大，那么在训练集上获得的学习效果是可以平移到测试集上的。即如下，



这里保证的仅仅是“训练集的效果平移到测试集”，平移的仅仅是效果，没说效果好坏；如果训练效果是垃圾的，那么测试效果也基本是垃圾的。

如果假设空间是有限的，那么结果又如何呢？如下，



如果假设空间是有限的，根据公式推导：当N足够大的时候，可以保证‘踩雷’的概率很小，我们只要选一个表现最好的假设空间就OK了。

讲到这里，留了一个关子：如果假设空间不是有限的，那么机器学习是否可以行了？