《机器学习基石》第5讲 学习记录

课程为coursera上面台大的公开课《机器学习基石》

其中第五讲

证明PAC是否能够成功：其中有两个核心问题，一、我们是否能够确保Eout(g)和Ein(g)足够接近；二、我们是否可以使Ein(g)足够小。

在以上两个核心问题中，H的数量M在其中扮演着什么样的角色呢：M很小的时候对于问题一可以保证，二却非也；M很大的时候与很小的时候刚好相反。

其中M的来源：



Bm表示不好的几率，在最坏的情况下（所有Bm没有相互覆盖的情况）几率等于各个几率之和，所以对所有情况下面的不等式存在（联集）。但是当M很大甚至无穷时，后面的项很多可能会造成其加和bound也很大，甚至会远远大于1。



联集我们想的是所有Bm不重叠，但在实际情况中，不重叠的情况很少，有时还会有Hypotheses很接近的情况（h1≈h2），根据其①②的特性，或许我们可以将H分类。



然后怎样分类找到可以替代M并且是有限的m呢，老师用在二维平面内将点分类为例进行了讲解



找到有限的数字 effective(N)<（2的N次方）

举例求得增长函数



结果：对于mh为多项式增长的效果比较好，对于mh为指数增长的效果并不显著（因为前面以指数增长，后面以指数下降并不会得到显著的效果）

所以对于二维或更普遍的感知机来说，mh是不是多项式增长的呢 这是我们接下来需要考虑的。