机器学习基石(林軒田)笔记之十六

Three Learning Principles(三个学习原则)

回顾

上一节我们介绍了如何为模型选择储备验证数据集来模拟测试模型。

Occam’s Razor

奥卡姆剃刀定律



上图中的英文翻译过来为：如无必要，勿增实体--奥卡姆。为纪念奥卡姆，这句话定义为奥卡姆剃刀。
将上述定律放在机器学习领域即为使用尽可能简单的模型。



如下模型：



通过上图引发出两个问题：
1.简单的模型意味着什么？
2.怎么知道简单的模型会适用？
我们先从第一个问题来入手：



对于一个假设h，意味着参数越小越简单，对于一个假设空间H，假设越少越简单。
二者的联系：



若一个假设空间中假设函数的数量

为

，则单一的假设函数可以用l
bits表示，因此，如果假设空间H的模型是简单的则在此假设空间中的假设函数也是简单的。
对于第二个问题：
假设一个数据集的规律性很差，例如输入样本的输出是随意标记的，在这种情况下几乎没有假设函数可以使得在该训练集上

近似为0。如果一个数据集能够被一个假设函数分开，那么此数据集的规律性不会太差。当我们使用简单的假设函数就可以将数据大体上分开时，基本可以确定该数据集是具有某种规律的。但是，如果我们是使用复杂的模型将数据集大体分开的，此时我们就无法判断究竟是数据集具有某种规律还是因为假设函数凑巧可以讲数据集分开。

Sampling Bias

抽样偏差
如果数据抽样出现偏差则机器学习学到的模型也会产生偏差，此种偏差为抽样偏差。



从两个方面来解释：



技术角度解释：在VC维理论中，假设函数的求曲是基于训练数据集和测试数据集服从同一个分布，因此，当训练集的分布P1与测试集的分布P2不相等时，VC维理论不再适用，即

不成立。
哲学角度解释：当你数学学得好的时候拿英语来测试你。
结论：训练集和测试集要独立同分布于概率P。

Data Snooping

数据窥探
在机器学习的任何一步中，数据集都可能受到影响，从而影响到机器学习的结果。



例：



分析：



现有8年的实时交易数据，将其中的前6年作为训练数据，后两年作为测试数据。我们希望通过前20天的交易数据预测出第21天的交易数据。曲线图为我们我们分别使用有窥探和没有窥探两种方式预测的收益情况对比图。图中，红色曲线为使用8年的放缩统计数据建立模型来预测后两年的收益情况，蓝色曲线为利用前6年的数据建立模型来预测后两年的收益情况。



结论:即使间接的偷窥了统计信息的模型也比完全不偷窥统计模型的信息表现的好很多。

Power of Three

三的力量
本节是对本机器学习基石课程的一个总结，发现此课程中的许多东西与3有关，因此标题为3的力量。
三种与机器学习相关的领域：



三种理论保证：



三个模型：



三种重要的工具：



三个原则：



未来的三个方向：