机器学习---假设的评估问题

机器学习的假设理论：任一假设若在足够大的训练样例集中很好的逼近目标函数，它也能在未见实例中很好地逼近目标函数。

伯努利分布的期望 np

方差 np（1-p）

训练样例（Sample）的错误率：errors

测试数据（data）的错误率：errorD

评估偏差

bias=E(errors)-errorD

对于无偏估计（bias=0）：h和S选择必须独立

评估方差：

对于无偏的评估S，errors也许和errorD不同的，

应该选择方差较小的估计

示例计算

有95%的可能性，errors(h)落在区间：

errorD(h)± 1.96*√errorD(h)*(1-errorD)/n

等价类似的：

有95%的可能性，errorD(h)落在区间：

errors(h)± 1.96*√errors(h)*(1-errors)/n

测试h1在训练样例S1(n1个随机数据)，测试h2在训练样例S2(n2个随机数据)

选择评估参数：d=errorD(h1)-errorD(h2)

选择评估者： d^=errorS1(h1)-errorS2(h2)



例如：eS1(h1)=0.3 eS2(h2)=0.2 假设eD(h1)>eD(h2) 其中n1=n2=100

给出 d^=0.1 假设eD(h1)>eD(h2)

即：d^=0.1 假设d>0

d+0.1>d^ 注意d是d^的均值

即：d^